The Interaction Tax: When Communication Erases Diversity in Multi-Agent Teams

Motivation

• Known: debate, critique loop, mixture-of-agents(MoA) 같은 multi-agent LLM 상호작용 기법들이 성능 향상을 가져온다는 보고가 있는 반면, 동일 예산 하에서는 상호작용이 비용만 늘리고 품질은 개선하지 못하거나 independent sampling만으로도 multi-agent의 이점을 대부분 얻을 수 있다는 상반된 결과도 존재한다.
• Gap: 기존 연구들은 대부분 same-model team을 사용하거나 model diversity를 통제하지 않아, 상호작용이 도움이 되는지 해가 되는지에 대한 상반된 결과가 왜 공존하는지 설명하지 못하며, 특히 agent들이 서로의 완전한 출력(full solution)을 읽는 방식의 상호작용이 diverse-model team의 다양성을 어떻게 훼손하는지에 대한 구분이 빠져 있다.
• Why: Multi-agent LLM 시스템 설계에서 "몇 명의 agent를 쓸 것인가"보다 "agent 간에 어떤 정보를 어떤 시점에 교환할 것인가"가 성능을 좌우한다는 점을 밝힘으로써, debate·critique·MoA 등 다양한 multi-agent 프로토콜의 설계 원칙에 실질적 지침을 제공하기 때문이다.
• Approach: Claude, GPT-4o, Gemini 2.5 Flash로 구성된 same-model team과 diverse-model team을 11개의 verifier-scored 최적화 과제에 대해 동일 자원 예산 하에서 비교하고, full-solution 교환 기반 프로토콜(Chain, MAgICoRe, Debate)과 독립 생성 기반 프로토콜(MoA, Best-of-N)을 대조하는 통제된 2×2 factorial 실험을 수행한다.

Achievement

Figure 2. (a) Aggregate MEG for all ten configurations (95% CI, 9 tasks). MoA is the only configuration whose confidence

1. Diversity가 coverage를 만든다는 것을 입증: 모든 same-model team은 최소 한 과제에서 Q=0을 기록하는 반면, diverse team(Claude+GPT-4o+Gemini)은 어떤 과제에서도 0점을 받지 않아, aggregate Q는 비슷해도 커버리지 이점이 있음을 보였다.
2. Interaction tax의 정량적 규명: Chain, MAgICoRe, Debate는 same-model 조건에서 positive MIG를 보이지만 diverse-model 조건에서는 모두 negative로 전환(P(same>div) ≥88%)되어, full-solution 상호작용이 diversity를 없앤다는 구조적 메커니즘을 확인했다.
3. MoA의 예외성 확인: proposer가 서로의 출력을 절대 보지 않는 MoA만이 same-model에서 diverse-model로 갈 때도 MIG가 positive를 유지(+0.012→+0.016)하여, 독립 생성이 interaction tax를 회피함을 보였다.
4. Aggregate MEG 분석: 10개 구성 중 MoA만이 신뢰구간이 0을 포함하여 single-agent baseline을 능가하는 유일한 후보임을 확인했다.

How

Figure 2. (a) Aggregate MEG for all ten configurations (95% CI, 9 tasks). MoA is the only configuration whose confidence

• 11개 verifier-scored 최적화 과제(AlphaEvolve suite에서 4개 포함)에 대해 deterministic evaluator로 채점.
• Single-Shot, Best-of-N, Self-Refine, Verifier-Guided Search(VGS) 등 4개 single-agent baseline과 Chain(Homo/Cross), MAgICoRe, Debate, HPE, MoA 등 multi-agent workflow를 동일 예산 하에서 비교.
• visible dev evaluator로 탐색을 진행하고, 최종 산출물은 hidden evaluator로 한 번 평가하여 overfitting 여부를 점검.
• MEG(Multi-agent Excess Gain, single-agent baseline 대비 우위)와 MIG(interaction이 independent generation 대비 이점을 주는 정도) 지표를 정의해 정량 분석.
• model diversity(same vs. diverse)와 synthesis 방식(MoA synthesis vs. best-score selection)을 교차한 2×2 factorial 실험을 3개 과제, N=120, task-stratified bootstrap으로 수행.
• 최종적으로 aggregate MEG(Figure 2a)와 MIG quadrant scatter(Figure 2b)를 통해 interaction tax zone을 시각화.

Originality

• Multi-agent LLM 연구에서 상반되게 보고되어 온 "협업이 도움이 되는가 해가 되는가" 문제를 model diversity라는 통제 변수로 명시적으로 분리해 원인을 규명한 최초의 시도 중 하나.
• "interaction tax"라는 새로운 개념을 제안하고, full-solution exchange가 ensemble diversity decomposition(Krogh & Vedelsby 등) 이론의 구조적 사례임을 연결.
• MEG, MIG라는 두 지표를 도입해 상호작용의 효과를 두 축(단일 agent 대비 우위, 독립 생성 대비 우위)으로 분해해 정량화.
• 2×2 factorial 설계를 통해 diversity 효과와 synthesis 효과를 분리한 통제 실험 설계.

Limitation & Further Study

• 3개 과제(2×2 factorial), 9개 과제(aggregate MEG) 등 분석에 사용된 과제 수가 제한적이며, leave-one-out 분석 결과 다양성 효과가 task-dependent함을 저자 스스로 인정.
• 세 개의 특정 모델(Claude Sonnet 4, GPT-4o, Gemini 2.5 Flash)에 국한된 결과로, 다른 모델 조합이나 더 많은 agent 수에 대한 일반화 가능성이 검증되지 않음.
• visible/hidden evaluator 간 순위가 3개 과제에서 불일치하는 것으로 나타나 verifier 신뢰성 및 hidden score 기반 평가의 안정성에 대한 추가 검증 필요.
• critique가 도움이 되는 조건("위반 규칙을 LLM이 찾고 고치기 쉬운 경우")에 대한 정성적 관찰이 제한된 사례(Knapsack, 3AP-Free)에만 근거하여 이를 일반화할 수 있는 명확한 기준 정립이 후속 연구로 필요.
• 상호작용 프로토콜을 더 세분화(예: 부분 정보 교환, 요약 기반 교환)하여 interaction tax를 완화할 수 있는 대안적 설계에 대한 탐구가 부족.

Evaluation

총평: Multi-agent LLM 협업의 상반된 실증 결과를 model diversity와 정보 교환 방식이라는 명확한 축으로 정리해낸 설득력 있는 연구로, "interaction tax"라는 개념과 MEG/MIG 지표는 향후 multi-agent 시스템 설계에 실질적 지침을 제공할 것으로 보이나, 검증 과제 수와 모델 조합의 제한성은 일반화에 대한 아쉬움으로 남는다.