Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling

Motivation

Known: AlphaGeometry, AlphaProof, Gemini Deep Think 등 대규모 탐색·검증 예산을 활용한 시스템들이 IMO 문제에서 실버·골드 수준에 도달했고, chain-of-thought, 수학 특화 post-training, RLVR(RL with verifiable rewards) 등을 통해 일반 추론 모델의 수학·과학 문제 해결 능력이 향상되어 왔다.
Gap: 기존 접근은 특정 태스크에 특화된 symbolic 도구나 매우 큰 모델 스케일 및 방대한 탐색/검증 예산에 의존하는 경우가 많아, 소형(compact)·도메인-통합(domain-unified)된 레시피만으로 올림피아드 수준의 엄밀한 proof-search 능력을 이끌어낼 수 있는지는 검증되지 않았다.
Why: 모델 규모를 키우거나 task-specific symbolic 장치를 추가하지 않고도, 학습(SFT/RL)과 추론(test-time scaling)을 동일한 process-level 추론 행동(자기검증, proof rigor)에 맞춰 공동 설계(training-inference co-design)하면 compact backbone도 gold-medal 수준의 proof-search 역량을 획득할 수 있음을 보여, 효율적인 올림피아드급 reasoning 모델 구축의 실용적 경로를 제시하기 때문이다.
Approach: reverse-perplexity curriculum 기반 SFT로 rigorous proof-search 및 self-checking 행동을 주입한 뒤, RLVR에서 proof-level RL로 진행하는 two-stage RL로 이 행동을 스케일링하고, 마지막으로 self-verification-and-refinement 루프 기반 test-time scaling으로 해결 성능을 끌어올리는 통합 레시피를 제안한다.

Achievement

SU-01 모델 제안: 30B-A3B 규모의 backbone에 약 340K개의 sub-8K-token trajectory로 SFT를 수행하고 200 RL step을 거쳐, 100K 토큰을 넘는 trajectory에서도 안정적인 추론이 가능한 SU-01을 학습했다.
올림피아드 대회 gold-medal급 성능 달성: direct SU-01은 IPhO 2024/2025 gold line을 넘고 IMO 2025/USAMO 2026 bronze line을 통과했으며, TTS 적용 시 두 수학 올림피아드에서 35점을 획득해 IMO 2025 gold line을 충족하고 USAMO 2026 gold line을 10점 초과, 340명 참가자 중 최고 인간 점수와 동등한 수준을 달성했다.
proof-oriented 평가에서 경쟁력 입증: IMO-ProofBench에서 direct generation 57.6%, TTS 적용 시 70.2%를 기록하며 유사 규모 모델을 큰 폭으로 앞서고 Gemini 3.1 Pro Thinking과 같은 상용 시스템에 근접했다.
과학적 추론의 일반화 확인: FrontierScience-Research에서 유사 규모 모델 중 최고 종합 점수를 기록하여, 제안한 레시피가 올림피아드 벤치마크를 넘어 연구 스타일 문제로도 일반화됨을 보였다.

How

SFT 데이터 큐레이션: Evan Chen 올림피아드 자료, Shuzhimi Forum, AoPS, DeepMath(난이도 6 이상), NaturalReasoning, Nemotron-Instruction-Following-Chat-v1, Eurus-2-RL-Data, OpenCodeReasoning-2 등 수학·과학·지시-따르기·코딩 소스를 혼합하여 프롬프트를 구성하고, 오염된 문제를 필터링한 뒤 DeepSeek-V3.2-Speciale로 long-form reasoning trajectory 및 self-verification/self-refinement trace를 생성해 338K개로 정제했다.
Reverse-Perplexity Curriculum: 기존 post-trained policy와 가장 불일치(high-perplexity)하는 trajectory부터 학습하여 policy를 재구성한 뒤, 점차 낮은 perplexity(familiar)의 예시로 옮겨가며 policy 붕괴 없이 rigorous proof-search 행동을 주입한다(8,192 토큰 이하 trajectory 기준 4 epoch 충분).
Coarse RL: verifiable prompt와 outcome-based binary reward(정답 정확성, formal verifier/symbolic check)를 사용해 SFT로 도입된 추론 행동을 GSPO 등으로 스케일링한다.
Refined RL: 목표를 정답 정확성에서 proof quality로 전환하여, 완전한 proof를 채점하는 proof-level generative reward model(DeepSeek-Math V2 기반), critique-and-repair 훈련을 위한 self-refinement 프롬프트, 어려운 문제의 희귀한 성공 trajectory를 보존하는 experience replay를 결합한다.
Test-Time Scaling(TTS): self-verification-and-refinement 루프를 적용해 major issue가 10 step 지속되면 reject, 5회 연속 검증 통과 시 accept하는 방식으로 모델-불가지론적(model-agnostic) 추론 시간 확장을 수행한다.

Originality

SFT-RL-TTS를 하나의 통합 파이프라인으로 결합하여 각 단계가 동일한 process-level 행동(proof rigor, self-verification)을 목표로 정렬되도록 설계한 training-inference co-design 관점을 제시했다.
reverse-perplexity curriculum이라는 새로운 SFT 데이터 순서 배치 전략을 통해 post-trained 모델의 기존 역량 손실 없이 새로운 추론 행동을 주입하는 방법을 제안했다.
outcome 기반의 Coarse RL과 proof-level generative reward 기반의 Refined RL을 분리한 two-stage RL 구조를 통해 정답 정확성에서 proof quality로 점진적으로 학습 목표를 전환하는 방식을 도입했다.
task-specific symbolic 도구나 대규모 모델 스케일 증가 없이, 30B-A3B급 compact backbone만으로 gold-medal 수준의 올림피아드 성능을 달성함을 실증했다.

Limitation & Further Study

본문 발췌에는 SFT 데이터 생성에 사용된 DeepSeek-V3.2-Speciale 및 reward model(DeepSeek-Math V2)에 대한 의존도가 높아, 이러한 강력한 teacher/judge 모델의 품질에 결과가 크게 좌우될 가능성이 있으나 이에 대한 민감도 분석이 명확히 제시되지 않았다.
TTS가 100K 토큰 이상의 매우 긴 추론을 요구하므로 실제 서비스 환경에서의 추론 비용 및 지연시간에 대한 논의가 부족해 보이며, 추후 효율화 연구가 필요하다.
올림피아드/과학 벤치마크에 특화된 성능 향상이 일반 대화형 태스크나 다른 도메인으로 얼마나 일반화되는지에 대한 폭넓은 평가가 추가로 요구된다.
reverse-perplexity curriculum의 최적 epoch 수(4 epoch)나 하이퍼파라미터 선택 근거가 경험적 관찰에 의존하고 있어 이론적 정당화나 다양한 모델 규모에서의 일반성 검증이 후속 연구로 필요하다.

같이 보면 좋은 논문

Towards large language models as copilots for theorem proving in lean

기반 연구SPECTER2 유사도 0.93로 LLM Agent Reasoning Training와 Formal Methods and Computational Reasoning가 맞닿아, 'Towards large language models as copilots for theorem proving in lean'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Deepseek-prover: Advancing theorem proving in llms through large-scale synthetic data

기반 연구SPECTER2 유사도 0.95로 LLM Agent Reasoning Training와 Formal Methods and Computational Reasoning가 맞닿아, 'Deepseek-prover: Advancing theorem proving in llms through large-scale synthetic data'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning

기반 연구SPECTER2 유사도 0.94로 LLM Agent Reasoning Training와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Mixture of Graders: Adaptive Strategy Routing for LLM-Based Mathematical Evaluation

기반 연구수학 문제 채점에 LLM judge를 적용한 실제 사례 연구이다.

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

기반 연구frozen backbone에 logit 추가 방식을 확장한 추론 능력 강화 기법이다.

Inference-Time Diversity in RL-Trained Lean Theorem Provers: A Diagnostic Study

기반 연구coarse-to-refined RL 단계 설계의 이론적 토대를 제공하는 선행 연구이다.

OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving

다른 접근동일한 LLM reasoning 강화를 위한 SFT+RL 파이프라인을 다른 방식으로 구성한 접근이다.

The Role of Feedback Alignment in Self-Distillation

다른 접근reward model 없이 step-level 오류 국소화를 수행하는 유사한 문제의식

Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning

다른 접근의료 도메인에서의 멀티모달 추론 및 grounding 기법을 다루는 연관 연구