/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/449_Kimi_k15_Scaling_reinforcement_learning_with_llms

Motivation

• Known: 기존에는 next token prediction 기반 pretraining의 scaling law가 지능 향상의 주요 동력이었으나 고품질 학습 데이터 양에 한계가 있으며, RL을 LLM에 적용해 reasoning 능력을 향상시키려는 시도들(o1 등)이 있었으나 공개된 연구들은 경쟁력 있는 결과를 내지 못했다.
• Gap: RL을 통한 LLM reasoning 향상이 promising하다고 알려졌지만, 이를 실제로 competitive한 성능으로 구현하기 위한 구체적 학습 레시피(context length scaling, policy optimization, 인프라)가 공개적으로 검증된 바 없었다.
• Why: RL이 pretraining의 데이터 제약을 넘어서는 새로운 scaling axis가 될 수 있음을 실증적으로 보여주었으며, 복잡한 MCTS나 value function 없이도 state-of-the-art reasoning 성능을 달성할 수 있다는 simplistic한 RL 프레임워크를 제시해 후속 연구의 기준점을 제공한다는 점에서 중요하다.
• Approach: RL prompt set curation, long-CoT SFT warmup, 그리고 online mirror descent 변형을 이용한 policy optimization을 결합하여 128k context까지 확장된 RL 학습을 수행하고, long2short 기법으로 long-CoT 모델의 능력을 short-CoT 모델에 이식한다.

Achievement

Kimi k1.5 long-CoT results.

1. State-of-the-art long-CoT 성능: AIME 77.5, MATH 500 96.2, Codeforces 94th percentile, MathVista 74.9로 OpenAI o1과 대등한 성능을 달성했다.
2. State-of-the-art short-CoT 성능: AIME 60.8, MATH500 94.6, LiveCodeBench 47.3으로 GPT-4o, Claude Sonnet 3.5 등 기존 short-CoT 모델을 최대 +550% 능가했다.
3. Long context RL scaling 효과 입증: RL context window를 128k까지 확장하며 partial rollout 기법으로 학습 효율을 유지하면서 context 길이 증가에 따른 지속적 성능 향상을 관찰했다.
4. Simplistic RL 프레임워크 확립: MCTS, value function, process reward model 없이도 long context와 policy optimization만으로 강력한 reasoning 성능을 얻을 수 있음을 보였다.
5. 효과적인 long2short 전이 기법: length penalty와 model merging을 통해 long-CoT의 추론 능력을 short-CoT 모델로 효율적으로 이식했다.

How

Large Scale Reinforcement Learning Training System for LLM

• RL prompt set curation: diverse coverage, balanced difficulty(모델 자체 pass rate 기반 난이도 추정), accurate evaluability(reward hacking 방지 위한 필터링, 예/아니오형·객관식·증명형 문제 제외, N=8 guess 테스트로 easy-to-hack 프롬프트 제거)를 만족하는 프롬프트셋 구성
• Long-CoT Supervised Fine-Tuning: prompt engineering으로 planning, evaluation, reflection, exploration 등 인간과 유사한 추론 과정을 담은 소규모 고품질 warmup 데이터셋을 구축, rejection sampling과 유사한 방식으로 경량 SFT 수행
• RL 문제 설정: 정책 모델 πθ가 CoT z=(z1,...,zm)를 통해 문제 x와 정답 y*를 연결하도록 학습, online mirror descent 변형 알고리즘으로 policy optimization 수행
• Long context scaling: RL context window를 128k로 확장하고, 이전 trajectory의 상당 부분을 재사용하는 partial rollout 방식으로 재생성 비용 절감
• Long2short: length penalty 적용 및 long-CoT/short-CoT 모델 간 model merging을 통해 짧은 CoT 모델의 추론 성능 개선
• 멀티모달 학습: 텍스트와 비전 데이터를 함께 학습하여 두 모달리티에 걸친 공동 추론 능력 확보

Originality

• MCTS, value function, process reward model 등 복잡한 탐색/보상 모델링 기법을 배제하고 long context와 policy optimization만으로 reasoning 성능을 끌어올린 simplistic한 RL 프레임워크 설계
• 모델 자체의 pass rate를 이용해 프롬프트 난이도를 자동 추정하고 reward hacking을 방지하는 프롬프트 큐레이션 방법론(예: N=8 guess 테스트) 제안
• partial rollout을 활용해 128k라는 매우 긴 context에서도 RL 학습 효율성을 유지하는 인프라적 기여
• long-CoT에서 학습한 능력을 length penalty와 model merging을 통해 short-CoT 모델로 전이하는 long2short 기법 제안
• 텍스트와 비전을 함께 다루는 멀티모달 RL reasoning 모델이라는 점에서 텍스트 전용 연구들과 차별화

Limitation & Further Study

• 기술 리포트 특성상 알고리즘의 세부 이론적 분석(수렴성 증명 등)이나 ablation의 엄밀성이 학술 논문 대비 제한적일 수 있음
• reward hacking 방지를 위한 필터링 방법(N=8 guess 등)이 휴리스틱에 의존하며, 저자들 스스로도 "더 발전된 verification 모델 개발이 향후 과제"라고 인정함
• 벤치마크 위주의 성능 비교로, 실제 다양한 실사용 시나리오나 안전성(safety), 견고성(robustness) 측면의 평가는 상대적으로 부족함
• 모델 가중치나 학습 데이터, 상세 하이퍼파라미터가 완전히 공개되지 않아 외부에서의 재현성 검증에 한계가 있음
• 향후 연구로 더 정교한 verifier 모델 개발, 프롬프트 난이도 추정 방법 고도화, 더 다양한 모달리티로의 확장 등이 필요함

Evaluation

총평: MCTS나 value function 없이도 long context RL과 policy optimization만으로 OpenAI o1급 성능을 달성했다는 점에서 실용적이고 영향력 있는 기술 보고서이며, RL 기반 LLM reasoning 연구에 중요한 참조점이 될 것으로 평가된다.