Joint Consistency: A Unified Test-Time Aggregation Framework via Energy Minimization

Motivation

• Known: 기존 test-time aggregation 방법들은 Self-Consistency와 같은 evaluation-free 방식이나, ORM·verbalized confidence 등 독립적 평가 신호(external evaluation signal)를 이용한 Weighted Self-Consistency, Self-Certainty 등으로 개별 trace 품질을 평가·집계해왔다.
• Gap: 기존 방법들은 후보 trace를 독립적으로 평가하거나 답변 빈도에만 의존하여, LLM-as-a-judge를 통한 pairwise comparison과 같은 후보 간 비교(comparative) 정보를 체계적으로 활용하지 못했으며, 이를 독립 평가 신호와 결합하면서도 O(N^2) 계산 비용 없이 효율적으로 다루는 원칙적 방법이 부재했다.
• Why: 비교 판단(comparative judgment)은 절대 점수 평가보다 신뢰도가 높다는 것이 preference learning·LLM alignment 분야에서 잘 알려져 있음에도, 이를 test-time aggregation에 원칙적이고 계산적으로 효율적으로 통합하는 방법이 없었기 때문에, JC와 같은 통합 프레임워크는 실용성과 이론적 완결성 측면에서 중요한 의미를 가진다.
• Approach: 독립 평가 신호를 external field로, pairwise comparison을 interaction으로 취급하는 constrained Ising-type energy minimization 문제로 test-time aggregation을 정식화하고, LLM-as-a-judge 기반 interaction matrix 구성과 효율적 근사 전략을 통해 이를 실용적으로 구현한다.

Achievement

Figure 4. Accuracy of Joint Consistency across different judge

1. 통합 프레임워크 제안: Self-Consistency, Weighted Self-Consistency, Self-Certainty, Knockout Tournament 등 기존 evaluation-free 및 evaluation-based aggregation 방법들을 hyperparameter µ를 통해 하나의 constrained energy minimization 공식(3) 내 특수 경우로 포섭하는 Joint Consistency(JC)를 제안했다.
2. 비교 신호의 이론적 근거 마련: interaction matrix J를 LLM-as-a-judge의 pairwise comparison으로 구성하고, answer-level homogeneity 가정 하에서 이 구성에 대한 이론적 해석을 제공했다.
3. 확장 가능한 근사 전략 개발: 모든 쌍을 비교하는 O(N^2) 비용을 피하면서 interaction modeling의 이점을 유지하는 효율적 근사(κ-approximation) 전략을 개발하여 WSC와 유사한 비용으로 JC를 대규모 test-time aggregation에 적용 가능하게 했다.
4. 광범위한 실증적 우수성 입증: MathArena와 같은 이질적(heterogeneous) crowdsourced 환경과 통제된 homogeneous 환경 모두를 포함한 math·code reasoning benchmark에서, task, judge model, trace budget, trace-generation 설정 전반에 걸쳐 JC가 기존 baseline들을 일관되게 능가함을 보였으며, 특히 어려운 문제와 이질적 trace pool에서 큰 개선폭을 보였다.

How

Figure 2. Accuracy–cost trade-off under κ-approximation on

• Test-Time Aggregation을 N개 reasoning trace {y_i=(z_i,a_i)}로부터 K개 candidate answer 중 하나를 고르는 문제로 정의하고, 답변별 index partition {I_k}를 구성
• indicator vector x∈{0,1}^N을 도입해 aggregation을 constrained optimization min_{x∈{1_Ik}} H(x) = -µ⟨h,x⟩ - x^T J x 로 정식화 (h: 독립 평가 신호로 이루어진 external field, J: pairwise comparison 기반 interaction matrix, µ: 두 항의 상대적 기여도를 조절하는 hyperparameter)
• h=1_N인 경우 SC, h가 evaluation score인 경우 WSC, h가 Borda-style rank score인 경우 Self-Certainty로 환원됨을 보여 기존 방법을 특수 사례로 통합
• J는 LLM-as-a-judge를 이용한 pairwise comparison 결과로 구성하며, answer-level homogeneity 가정 하에 이론적 해석 제시
• 전체 쌍 비교의 O(N^2) 비용을 줄이기 위한 κ-approximation 근사 전략을 설계
• HMMT 2025, MathArena 등 math benchmark와 code reasoning benchmark에서 57개 모델의 crowdsourced trace를 활용해 다양한 judge model, trace budget, trace-generation 설정 하에 실험 수행

Originality

• test-time aggregation을 Ising model에서 영감을 받은 constrained energy minimization 문제로 재정식화한 점이 독창적이며, 물리학적 유비(external field-interaction)를 통해 독립 평가와 비교 평가를 하나의 수학적 틀 안에 통합
• 기존의 개별적으로 제안되어온 SC, WSC, Self-Certainty, Knockout Tournament 등을 단일 파라미터화된 family로 포섭하여, 이들 간의 관계를 명시적으로 규명하고 새로운 방법 탐색의 틀을 제공
• LLM-as-a-judge의 pairwise comparison을 interaction matrix로 사용하면서 answer-level homogeneity 가정 하 이론적 정당성을 부여한 점, 그리고 O(N^2) 비용 문제를 해결하는 근사 전략을 함께 제시한 점이 실용적 독창성을 더함

Limitation & Further Study

• energy minimization 문제(3)이 일반적으로 NP-hard일 수 있는 조합 최적화 구조를 가지므로, 제안된 근사 전략(κ-approximation)이 전역 최적해에 대해 어떤 이론적 근사 보장을 갖는지 명확한 분석이 부족해 보인다.
• interaction matrix 구성이 LLM-as-a-judge의 pairwise comparison 품질에 크게 의존하므로, judge model 자체의 편향(bias)이나 position bias 등이 결과에 미치는 영향에 대한 심층 분석이 추가로 필요하다.
• answer-level homogeneity 가정이 실제 이질적 reasoning trace 분포에서 얼마나 위배되는지, 그리고 이 가정의 위반이 성능에 미치는 영향에 대한 정량적 검증이 제한적으로 보인다.
• 본 논문은 workshop 논문(발췌)으로 실험 세부사항과 이론적 증명이 appendix에 위임되어 있어, 본문만으로는 완전한 검증이 어려운 부분이 있다.

Evaluation

총평: 기존 test-time aggregation 방법들을 통합하는 우아하고 이론적으로 뒷받침된 프레임워크를 제시하며, 실용적 근사 전략과 광범위한 실험 검증을 통해 실질적인 성능 개선을 입증한 견고한 연구이다.