When Wrong Answers Look Right: AEGIS-D, a Multi-Agent Debate System for High-Precision Verification of Hard Competition Mathematics

Motivation

• Known: LLM-as-a-Judge 및 process supervision/verifier 시스템은 단일 패스 혹은 rubric 기반으로 reasoning trace를 평가하며, self-consistency나 multi-agent debate가 reasoning 오류를 노출시키는 데 도움이 된다는 것이 알려져 있다.
• Gap: 단일 judge는 유창하지만 미묘하게 틀린(subtly wrong) 수학적 논증에 취약하여 정답처럼 보이는 오답(false positive)을 걸러내지 못하며, 기존 debate 및 반복 검증 연구들은 correlated blind spot 문제와 "반박되지 않음"과 "확증됨"을 혼동하는 flat voting의 한계를 충분히 해결하지 못했다.
• Why: 벤치마크 구축, 학습 데이터 큐레이션, reward labeling, RLAIF, 자가개선 synthetic-data 파이프라인 등에서 false positive(오답이 정답으로 오인되어 수용되는 경우)는 false negative보다 훨씬 치명적이므로, precision-first 검증기가 데이터 오염을 막는 실용적 filtering primitive로서 중요하다.
• Approach: 다섯 개의 role-prompted 이질적 에이전트가 후보 답안과 풀이 과정을 독립적으로 분석한 뒤, scheduler broadcast와 peer-to-peer 메시지를 통해 최대 5라운드 구조화된 논쟁을 진행하고, 최소 3명의 에이전트가 answer_supported(적극적 확증 증거)를 제시해야만 수용하는 assessment gate를 적용하는 멀티에이전트 debate 시스템을 설계했다.

Achievement

1. 정밀도 대폭 향상: 195개의 검증하기 어려운 IMO/USAMO/Putnam 수준 변형 문제에서 단일 judge 베이스라인(55.1% precision) 대비 AEGIS-D는 92.5% precision을 달성하여 false positive를 8.3배 줄였다(63.8% recall, run당 24.7건→3.0건).
2. 문제 단위 정확도 제시: 정답 변형은 수용하고 모든 오답 변형은 기각하는 엄격한 problem-level accuracy를 3회 실행 평균 59.8%로 보고하여, variant-level precision이 가릴 수 있는 오염 위험을 드러냈다.
3. 2×2 factorial ablation을 통한 메커니즘 분리: 반복 검증(call count) 효과를 통제한 후 남은 false-positive 감소의 대부분이 heterogeneous agent roles와 assessment gating 두 아키텍처 메커니즘에서 비롯됨을 실증했다.
4. 비용-정밀도 트레이드오프 분석: post-hoc round 및 gate-threshold 분석을 통해 라운드 수와 게이트 임계값에 따른 recall-precision trade-off를 정량화했다.

How

• 5개의 서로 다른 role-prompt를 가진 에이전트(예: 반박자, 확증자 등 상보적 실패 모드 점검 역할)가 blind하게(참조 답안 없이) 후보 답안과 풀이 과정을 독립적으로 분석
• scheduler broadcast와 peer-to-peer direct message를 통한 최대 5라운드의 구조화된 논쟁 exchange
• 최소 3명 이상이 answer_supported(적극적 확증)를 보고해야 CORRECT로 수용, 최소 3명이 problem_invalid로 판단하면 INVALID로 기각하는 assessment gate
• 단일 judge, 반복 독립 검증(11-call majority vote), homogeneous debate 등과 비교하는 controlled baseline 및 2×2 factorial ablation(role heterogeneity × assessment gating) 설계
• 195개의 hard-to-verify variant(58개 IMO/USAMO/Putnam급 문제에서 파생)로 구성된 벤치마크와 69개의 statement-validity 확장 데이터셋으로 평가

Originality

• 단순 non-refutation이 아닌 positive confirming evidence(answer_supported)를 요구하는 assessment-gating 기준을 도입하여 "반박되지 않음=정답"이라는 flat voting의 오류를 구조적으로 방지
• role heterogeneity와 assessment gating을 반복된 2×2 factorial ablation으로 분리하여, 어느 메커니즘이 실제 false-positive 감소에 기여하는지 인과적으로 규명
• variant-level precision 대신 problem-level accuracy(정답 수용 + 모든 오답 기각)라는 더 엄격한 지표를 제안하여 데이터 오염 위험을 정직하게 드러냄
• solving vs. verification의 진단적 task-structure 비교(Q1)를 통해 검증이 처음부터 푸는 것보다 유용한 신호를 제공하는지 실증적으로 탐구

Limitation & Further Study

• Q1(solving vs. verification 비교)이 완전히 compute-matched된 스케일링 연구가 아니라 경험적 task-structure 비교에 그친다고 저자 스스로 명시
• 11-call majority-vote 검증기가 call-count 수준에서 성능 차이를 완전히 설명하지 못하지만 token-matched 비교는 수행되지 않음
• statement-validity(INVALID 판정) 확장 컴포넌트는 69개 항목으로 규모가 작고 lexical/template cue에 의한 편향 가능성이 있어 preliminary로 취급됨
• 후속 연구로 더 큰 규모의 문제 셋, token-matched 비교, 다양한 도메인으로의 전이 가능성에 대한 엄밀한 검증이 필요
• transfer test가 "preliminary evidence" 수준으로만 제시되어 일반화 가능성에 대한 확증적 결론은 부족함

Evaluation

총평: 단일 judge의 근본적 한계를 지적하고 assessment-gating과 role heterogeneity라는 두 메커니즘을 factorial ablation으로 인과적으로 분리해 낸 점이 돋보이는, 수학 데이터 필터링을 위한 실용적이고 정밀도 중심적인 멀티에이전트 debate 프레임워크를 제시한 견실한 연구이다. 다만 검증 규모와 transfer 실험의 preliminary한 성격은 향후 보강이 필요하다.