Mixture of Graders: Adaptive Strategy Routing for LLM-Based Mathematical Evaluation

Motivation

• Known: LLM judge는 수학 풀이의 부분점수 채점을 포함한 open-ended 평가에 널리 쓰이고 있으며, direct scoring, chain-of-thought, G-Eval, Chain-of-Verification, Debate 등 다양한 고정 프롬프트/파이프라인 전략이 제안되어 왔다. 그러나 이러한 judge들은 prompt 형식, 채점 지침, 반복 샘플링에 민감하고 position/verbosity bias 등 불안정성을 보이는 것으로 알려져 있다.
• Gap: 기존 연구는 하나의 고정된 채점 protocol(prompt, rubric, pipeline, judge 모델)을 선택해 모든 인스턴스에 균일하게 적용하는 방식에 머물러 있으며, 채점 protocol 자체를 인스턴스별로 적응적으로 선택해야 하는지에 대한 체계적 검증과 방법론이 부재했다.
• Why: 수학 벤치마크 점수는 모델 능력뿐 아니라 채점 protocol에도 크게 의존하므로, protocol 편향이 존재하면 벤치마크가 실제로는 모델의 수학적 능력이 아니라 채점 프로토콜 자체를 측정하는 문제가 발생하며, 이는 최신 모델 비교 및 alignment 워크플로우 전반의 신뢰성에 직접적인 영향을 미친다.
• Approach: 13가지 채점 전략을 새로운 Putnam-AXIOM-Grading 벤치마크와 기존 IMO-GradingBench에서 평가하여 고정 전략의 한계를 정량화한 뒤, 문제·참조 solution 특징만을 입력으로 사용하는 ModernBERT-large 기반 전략 라우터 Mixture of Graders(MoG)를 학습해 인스턴스별 최적 채점 전략 혼합을 예측한다.

Achievement

1. Putnam-AXIOM-Grading 벤치마크 공개: Putnam 스타일 부분점수 채점을 위한 500문제, 1,000개 후보 solution에 대한 인간 채점 라벨을 포함한 새로운 벤치마크를 공개하고 IMO-GradingBench와 함께 13개 채점 전략을 평가했다.
2. 고정 전략의 한계 규명: comparative prompting이 평균적으로 가장 강한 fixed default임을 확인했으나 어떤 전략도 모델·벤치마크·인스턴스 전반에서 지배적이지 않음을 보였고, in-hindsight oracle 분석 결과 문제별 최적 전략이 76%의 경우 고정 최선 전략과 다름을 밝혀 상당한 adaptive headroom을 입증했다.
3. Mixture of Graders(MoG) 라우터 개발 및 검증: 학습 시에는 fixed-strategy score matrix와 human label을 사용하지만 추론 시에는 문제·참조 특징만 사용하는 ModernBERT-large 라우터를 제안하여, Qwen2.5-72B-Math-Instruct 및 Mistral-Large-Instruct-2411 학생 응답 모두에서 open-weight judge 모델 전반에 걸쳐 최선 고정 전략 대비 최대 27.8%의 상대적 MSE 감소를 달성했으며, Qwen으로 학습한 라우터가 Mistral 응답에서도 94.1%의 paired bootstrap resample에서 최강 fixed default를 능가하는 cross-generator 일반화 성능을 보였다.

How

• Putnam-AXIOM-Grading(500문제, 1,000개 candidate solution, 인간 채점 주석 포함)과 IMO-GradingBench 두 벤치마크에서 direct scoring, structured chain-of-thought, comparative prompting, evidence-constrained scoring, G-Eval, Chain-of-Verification, Debate, multi-judge ensembling 등 13가지 채점 전략을 sweep하여 각 전략별 score matrix를 구축
• human-grade agreement, 반복 실행 시 stability, 선택적 token cost를 결합한 objective로 in-hindsight oracle(각 인스턴스에서 최고 utility 전략 선택)을 계산해 고정 전략 대비 adaptive headroom을 정량화
• fixed-strategy score matrix와 human label을 이용해 ModernBERT-large 기반 strategy router인 Mixture of Graders(MoG)를 학습시키되, 추론 시에는 문제(problem)와 참조(reference) solution 특징만을 입력으로 사용하여 candidate solution이나 student-model identity, human grade 없이 전략 분포를 출력하고 expected routed score를 형성
• 두 개의 student-response 세트(QWEN2.5-72B-MATH-INSTRUCT, MISTRAL-LARGE-INSTRUCT-2411)에 대해 여러 open-weight judge 모델을 사용해 MoG를 평가하고, 한 generator로 학습한 라우터를 다른 generator 응답에 적용하는 cross-generator transfer 실험을 수행

Originality

• 개별 judge 프롬프트나 rubric, 평가 모델을 개선하는 기존 연구와 달리, 채점 protocol 자체를 인스턴스별로 적응적으로 선택해야 한다는 문제를 새롭게 제기하고 이를 실증적으로 검증함
• LLM 모델이나 게이트웨이를 라우팅하는 기존 routing 연구(FrugalGPT, RouteLLM, RouterBench 등)와 달리, 고정된 judge 모델 하에서 direct scoring, comparison, verification, debate, ensemble 등 평가 protocol 자체를 라우팅 대상으로 설정한 최초의 시도
• human grade, candidate solution, student-model identity 없이 문제와 참조 solution만으로 추론 가능한 실용적 라우터 설계를 통해 학습-배포 간 feature 비대칭을 명시적으로 다룸
• Putnam-AXIOM-Grading이라는 새로운 대규모 human-annotated 부분점수 채점 벤치마크를 공개해 후속 연구의 기반을 마련함

Limitation & Further Study

• 라우터가 ModernBERT-large 기반의 텍스트 특징에 의존하므로, 문제 유형이 벤치마크 분포(Putnam, IMO 스타일)를 크게 벗어나는 경우 일반화 성능이 검증되지 않음
• in-hindsight oracle이 human grade를 사용하므로 실제 배포 가능한 상한선이 아니며, oracle과 학습된 라우터 간 성능 격차에 대한 심층 분석이 제한적으로 보임
• 평가가 open-weight judge 모델에 집중되어 있어 최신 폐쇄형(proprietary) judge 모델에 대한 일반화 여부는 추가 검증이 필요함
• token cost를 objective에 optional로만 포함시켜, 실제 배포 환경에서의 비용-성능 trade-off에 대한 체계적 분석이 부족함
• 후속 연구로는 더 다양한 수학 도메인(비경쟁 수학, 응용수학 등) 및 더 많은 judge 모델·student generator 조합으로의 확장, 그리고 라우터의 해석 가능성 분석이 필요함

Evaluation

총평: LLM judge 기반 수학 채점에서 고정 프롬프트 전략의 근본적 한계를 실증적으로 보이고 이를 해결하는 실용적인 adaptive routing 프레임워크를 제안한 견실한 연구로, 새로운 벤치마크 공개와 함께 평가 protocol 설계에 대한 관점 전환을 제시한다는 점에서 의의가 크다.