Nemotron-Math: Efficient Long-Context Distillation of Mathematical Reasoning from Multi-Mode Supervision

Motivation

• Known: 기존에도 OpenMathInstruct-2, NuminaMath, OpenMathReasoning 등 대규모 수학 추론 데이터셋이 존재하며, 이들은 단일 모드 reasoning model로 생성되어 competition-style 문제 위주로 난이도를 높이는 방향으로 발전해왔다.
• Gap: 기존 데이터셋은 단일 reasoning 모델이 생성한 균일한 스타일의 solution만 제공하고, 대부분 formal한 competition-style 문제에 국한되어 있어 reasoning depth·style·tool-usage의 다양성과 실세계 수학 질의에 대한 커버리지가 부족하다.
• Why: 다양한 reasoning 스타일과 tool 통합, 장문 reasoning trace를 포함하는 고품질 supervision은 LLM의 수학적 추론 능력을 향상시키는 핵심 자원이며, 특히 128K 수준의 long-context distillation을 효율적으로 수행하는 방법은 실용적 학습 비용 절감에 크게 기여할 수 있다.
• Approach: gpt-oss-120b의 high/medium/low reasoning mode와 Python TIR 유무를 조합한 6가지 설정으로 AoPS 및 StackExchange-Math 문제에 대해 solution trace를 대량 생성하고, 이를 필터링하여 7.5M개의 고품질 long-form reasoning corpus를 구축했으며, 이를 sequential bucketed 전략으로 효율적으로 long-context fine-tuning에 활용했다.

Achievement

Figure 1. Scaling with model size and architecture on Nemotron-Math. Each panel reports pass@1 as a function of training

1. 대규모 multi-mode 수학 추론 데이터셋 구축: gpt-oss-120b를 이용해 high/medium/low reasoning mode와 Python TIR 유무를 조합, 85K AoPS 문제와 262K StackExchange-Math 문제로부터 7.5M개의 최대 128K 토큰 길이 solution trace를 생성했다.
2. 품질 검증 및 일반화 성능 개선: 통제된 비교실험을 통해 Nemotron-Math가 matched AoPS 문제에서 기존 OpenMathReasoning을 일관되게 능가하며, StackExchange-Math 추가가 HLE-Math 등에서 robustness와 generalization을 크게 향상시키면서도 competition benchmark 정확도를 유지함을 보였다.
3. 효율적인 long-context 학습 전략 제안: sequential bucketed training 전략으로 128K context-length fine-tuning을 full-length 학습 대비 2–3배 가속하면서 정확도 손실을 1–3% 이내로 최소화했다.
4. 모델 규모·아키텍처에 걸친 확장성 검증: Qwen3-8B와 Qwen3-30B-A3B에서 실험을 수행하여 두 모델 모두 유사한 최종 성능에 수렴함을 확인했고, high reasoning mode + Python TIR 설정에서 AIME 2024/2025에 대해 두 모델 모두 100% maj@16 정확도를 달성했다.

How

Figure 1. Scaling with model size and architecture on Nemotron-Math. Each panel reports pass@1 as a function of training

• 문제 세트 구성: OpenMathReasoning 기반 AoPS 문제(175K)와 Math Stack Exchange/MathOverflow 기반 StackExchange-Math 문제(651K)를 수집하고, proof-style 문제를 Qwen2.5-32B-Instruct 분류기로 필터링, decontamination 수행.
• 난이도 필터링: 각 문제에 대해 gpt-oss-120b가 low reasoning mode로 16개 solution(TIR 유무 각 8개)을 생성해 pass rate ≥0.8인 쉬운 문제를 제거, AoPS는 85K, StackExchange-Math는 262K로 축소.
• Multi-mode solution 생성: 필터링된 문제 세트에 대해 high/medium/low reasoning mode × Python TIR 유무의 6가지 설정에서 temperature 1.0, top-p 1.0으로 각 8개 solution을 생성.
• 정답 검증: Moshkov et al. (2025) 절차를 따라 Qwen2.5-32B-Instruct를 활용해 정답에 도달하지 못한 trajectory를 제거, 최종 7.5M개 trace 확보.
• Long-context 학습 가속화: sequential bucketed 전략으로 sequence length별로 sample을 그룹화하여 16K에서 128K까지 단계적으로 학습, 각 길이 스케일에서 최적화된 parallelism 구성을 적용.
• Scalability 검증: Qwen3-8B와 Qwen3-30B-A3B에 동일한 full context training recipe 적용하여 비교.

Originality

• gpt-oss-120b의 multi-mode(high/medium/low) generation 능력을 최초로 대규모 수학 추론 데이터 증류에 활용하여, 단일 스타일에 국한되지 않는 다양한 reasoning depth와 tool-usage 패턴을 포함하는 데이터셋을 구축했다.
• 구조화된 competition-style 문제(AoPS)와 다양한 real-world 커뮤니티 질의(StackExchange-Math)를 결합해 도메인 커버리지와 robustness를 동시에 확보한 점이 기존 연구와 차별화된다.
• 128K 토큰급 초장문 reasoning trace에 대한 fine-tuning을 가속화하는 sequential bucketed training 전략을 제안, long-context distillation의 실용적 계산 효율성 문제를 해결했다.

Limitation & Further Study

• sequential bucketed 전략이 full-length joint training 대비 근소한 정확도 손실(1-3%)을 유발한다는 점에서 완전한 trade-off 없는 해법은 아니며, 이 손실을 없애는 방법에 대한 추가 연구가 필요하다.
• 데이터 생성 및 검증 과정이 Qwen2.5-32B-Instruct 및 gpt-oss-120b라는 특정 teacher 모델에 의존하고 있어, teacher 모델의 편향이나 한계가 distillation된 데이터 품질에 그대로 반영될 위험이 있다.
• 필터링 과정에서 pass rate 기준(0.8)으로 쉬운 문제를 제거하는 방식이 특정 난이도 분포로의 편향을 야기할 수 있으며, 이에 대한 민감도 분석이 부족하다.
• 본 발췌에서는 StackExchange-Math의 세부 도메인 분포나 실제 문제 유형별 성능 차이에 대한 심층 분석이 제한적으로 제시되어 있어, 후속 연구에서 도메인별 세분화된 평가가 필요하다.

Evaluation

총평: Multi-mode teacher generation과 diverse problem source를 결합한 대규모 고품질 수학 추론 데이터셋 구축과 효율적인 long-context distillation 기법을 함께 제시한 실용적이고 완성도 높은 연구로, AIME 등에서의 SOTA 결과가 이를 뒷받침한다.