To aggregate or Not to Aggregate? Test-Time Aggregation Beyond Verifier-Friendly Benchmarks

Motivation

• Known: Aggregation 기반 test-time scaling(예: majority voting, self-aggregation, recursive self-aggregation)은 competition mathematics와 code generation처럼 정답 검증이 쉬운(verifier-friendly) 도메인에서 Pass@1 대비 큰 성능 향상을 가져온다는 것이 알려져 있다.
• Gap: 그러나 이러한 aggregation 이득이 proof-style 수학, 전문가 수준 STEM, 사회과학 지식, BrowseComp류 정보 탐색, 의료 추론과 같이 검증이 쉽지 않은 도메인이나 tool-integrated 환경으로 전이되는지, 어떤 task 조건에서 aggregation이 도움이 되는지, 그리고 SSA와 RSA 중 언제 무엇을 선택해야 하는지는 명확히 알려져 있지 않았다.
• Why: Aggregation이 모든 도메인에 균일하게 적용되는 test-time scaling law를 따르는지 여부는 실제 agentic 시스템(coding agent, deep-research, tool-integrated 의료/지식 추론 등)에 test-time compute를 어떻게 배분해야 하는지에 대한 실무적 지침을 제공하므로 중요하다.
• Approach: open-weight 및 frontier LLM들을 대상으로 tool-free/tool-integrated 환경에서 구조화된 추론, 지식/정보 탐색, 의료 추론 과제에 대해 MV, SSA, RSA 등 여러 aggregation 기법의 Pass@1 대비 Pass@8 headroom 회복률(Aggregation Yield)을 측정하는 cross-domain 실증 분석을 수행한다.

Achievement

Figure 2. Signed RSA-minus-SSA deltas across regimes. Positive values favor RSA. Recursive aggregation is most consisten

1. 도메인별 aggregation 효과의 비균일성 규명: structured reasoning과 tool-integrated knowledge/evidence-seeking은 각각 평균 48%, 57%의 headroom을 회복하는 반면, tool-free 의료 추론은 유사한 diversity window에도 불구하고 21%만 회복함을 보였다.
2. 복잡한 정보 보완성(complementarity)이 핵심 조건임을 확인: aggregation은 샘플된 trajectory들이 상호 보완적인 reasoning progress(구조화 추론) 또는 보완적인 retrieved evidence(tool-integrated 지식 탐색)를 담고 있을 때만 효과적임을 입증했다.
3. 의료 추론을 명확한 반례로 제시: tool 사용이 기저 성능은 크게 향상시키지만, trajectory들이 조합 가능한 중간 진행이 아닌 상충하는 임상적 해석을 반영하는 경우가 많아 aggregation 이득이 약함을 보였다.
4. SSA와 RSA의 선택 기준 제시: open-ended proof generation에서는 RSA가 가장 유용하고, tool-integrated knowledge/evidence-seeking에서는 SSA가 더 낮은 비용으로 대부분의 이득을 포착함을 accuracy-cost Pareto 분석으로 보였다.

How

Figure 2. Signed RSA-minus-SSA deltas across regimes. Positive values favor RSA. Recursive aggregation is most consisten

• IMO-ProofBench, HLE-STEM(구조화 추론), MedXpertQA·MedCaseReasoning(의료 추론), HLE-Social Science·BrowseComp(지식/정보 탐색)을 포함한 다양한 benchmark를 구성하고 tool-free/tool-integrated 조건으로 실험을 나눔.
• open-weight 모델(Qwen-3-8B, Qwen-3-30B, Qwen-3.5-35B, GPT-OSS-20B, GPT-OSS-120B)과 frontier 모델(GPT-5, Claude 4.6 Opus, Gemini-3-Pro)에 대해 k=8개의 독립 worker trajectory를 샘플링.
• 각 입력 x에 대해 base model로부터 T(x)={T1,...,Tk}를 얻고, tool-integrated 세팅에서는 reasoning-action-observation 시퀀스로 trajectory를 구성.
• Majority Voting(MV), Single-Step Aggregation(SSA, 모든 worker trajectory에 대한 단일 LLM 호출), Recursive Self-Aggregation(RSA, 반복적 재종합) 등 4가지 aggregation 방법을 비교.
• 진단 지표로 diversity window(Pass@1과 Pass@8 사이의 headroom)와 Aggregation Yield(그 headroom 중 aggregation이 회복하는 비율)를 정의하여 정량 분석.
• accuracy-cost Pareto curve를 통해 RSA와 SSA의 비용 대비 효율을 비교.

Originality

• 기존 연구들이 새로운 aggregation 알고리즘 제안에 집중한 것과 달리, 본 연구는 언제 aggregation이 유용한지를 다양한 도메인에 걸쳐 체계적으로 진단하는 데 초점을 맞춘 최초의 cross-domain 실증 연구이다.
• Aggregation Yield와 diversity window라는 새로운 진단 지표를 도입해 aggregation 효과를 도메인 간 정량적으로 비교 가능하게 만들었다.
• 의료 추론을 aggregation이 실패하는 명확한 반례(counterexample)로 제시하고 그 원인을 "경쟁적 임상 해석 vs. 조합 가능한 중간 진행"이라는 개념으로 설명한 점이 독창적이다.
• SSA와 RSA를 도메인 특성(open-ended proof vs. tool-integrated evidence-seeking)에 따라 언제 선택해야 하는지에 대한 실용적 지침을 제시했다.

Limitation & Further Study

• 연구가 특정 aggregation 방법(MV, SSA, RSA)에 국한되어 있어, 더 정교한 verifier 기반 선택이나 학습 기반 aggregation 기법과의 비교가 부족하다.
• 의료 추론에서의 실패 원인 분석이 주로 정성적 설명(경쟁적 임상 해석)에 의존하고 있어, 이를 정량적으로 측정하거나 완화하는 방법론은 제시되지 않았다.
• 평가된 모델과 benchmark의 수가 한정적이며, k=8이라는 고정된 샘플 수만을 사용해 다른 샘플링 예산에서의 결과 일반화 가능성이 불확실하다.
• 후속 연구로는 aggregation 실패를 완화할 수 있는 도메인 적응형 aggregation 기법이나 trajectory 간 complementarity를 직접 측정하고 활용하는 방법의 개발이 필요하다.

Evaluation

총평: Aggregation 기반 test-time scaling의 효과가 도메인과 tool 접근성에 따라 크게 다르다는 것을 폭넓은 실증 분석으로 명확히 보여준 실용적이고 시의성 있는 연구이며, 특히 의료 추론에서의 실패 사례 분석과 SSA/RSA 선택 기준 제시가 실무적 가치가 크다.