Learn Hard Problems During RL with Reference Guided Fine-tuning

Motivation

• Known: RLVR(Reinforcement Learning with Verifiable Rewards)는 수학적 추론 능력 향상에 효과적이지만, 모델이 애초에 정답 trajectory를 하나도 샘플링하지 못하는 어려운 문제에서는 보상이 전혀 발생하지 않아 학습이 정체된다. ReFT와 같은 방법은 model-generated correct trajectory에 대해 SFT를 적용해 이 문제를 일부 완화하지만, 모델이 애초에 풀 수 없는 문제에는 적용할 수 없다.
• Gap: 기존 연구들은 RL 파이프라인 자체를 수정(탐색 확대, 질문 증강, SFT-RL 교차 학습 등)하여 어려운 문제에 대한 학습을 개선하려 했으나, RL 이전 단계에서 모델의 기저 역량(baseline competence)을 인간 참조 해답을 활용해 직접 향상시켜 RL이 자연스럽게 긍정적 보상을 받도록 하는 접근은 충분히 탐구되지 않았다. 또한 참조 해답에 대한 단순 SFT는 모델 고유의 추론 분포와의 불일치로 인해 일반화 성능이 낮다는 문제가 있다.
• Why: RL의 효과가 근본적으로 기저 모델의 역량에 의해 제한되는 상황에서, RL 이전에 어려운 문제에 대한 모델의 해결 가능성을 높이는 것은 보상 희소성 문제를 원천적으로 완화하고 RL 자원의 활용 효율을 크게 높일 수 있어 중요하다.
• Approach: 모델에 참조 해답(reference solution)의 일부만을 제공하여 나머지 추론을 모델 스스로 생성하게 함으로써, 참조 해답의 정보를 활용하면서도 모델 자신의 추론 분포에 부합하는 trajectory를 합성하고, 이를 self-generated trajectory와 혼합하여 RL 이전에 SFT로 학습시킨다.

Achievement

Figure 2. Reinforcement learning performance over training steps on three challenging benchmarks. Models initialized wit

1. RL 수렴 가속 및 성능 상한 상승: AIME 2024, AIME 2025, Beyond-AIME 세 가지 벤치마크에서 ReGFT로 초기화된 모델이 raw checkpoint 및 ReFT 대비 RL 학습 전반에 걸쳐 더 빠른 초기 성능 향상과 더 높은 최종 정확도를 일관되게 달성했다.
2. 단순 SFT의 한계 입증: 참조 해답에 대한 직접 SFT만으로는 성능 향상이 불충분하며, 참조에 의해 guide되지만 모델 자신의 생성 과정과 정합적인 trajectory로 학습하는 것이 견고한 학습과 일반화에 필수적임을 실험적으로 보였다.
3. 추론 시점 확장성(inference-time scaling) 개선: pass@k 분석에서 RL이 모델의 pass@k 성능을 향상시키며, ReGFT는 모든 연산 예산(compute budget)에서 안정적이고 지속적인 개선을 보이는 반면 ReFT의 성능 향상은 낮은 k 영역에 국한됨을 확인했다.

How

Figure 1. Comparison of ReFT and ReGFT. Top: ReFT fine-tunes the model using verified correct trajectories obtained from

• ReFT 대비 설계: 기존 ReFT는 모델이 스스로 생성한 정답 trajectory만을 사용해 SFT를 수행하므로 애초에 풀 수 없는 문제에는 적용 불가능하다.
• ReGFT의 부분 참조 가이드: 각 문제에 대해 인간 작성 참조 해답의 일부(partial reference)를 모델에 제공하고, 나머지 추론 과정을 모델이 직접 생성하게 하여 참조 정보와 모델 고유 추론 분포를 동시에 반영한 trajectory를 합성한다.
• 혼합 학습: 이렇게 합성된 reference-guided trajectory와 모델의 self-generated trajectory를 혼합하여 RL 이전에 SFT를 수행, 어려운 훈련 문제에 대한 pass rate를 높인다.
• 후속 RL 적용: ReGFT로 초기화된 checkpoint에 대해 DAPO 등 RL 알고리즘을 적용하여 밀도 있는 보상 신호 하에서 학습을 진행한다.
• 평가: AIME 2024, AIME 2025, Beyond-AIME 세 벤치마크에서 RL 학습 곡선, ReFT와의 비교, 직접 SFT와의 비교, pass@k 기반 추론 시점 확장성을 다각도로 분석한다.

Originality

• 기존 연구들이 RL 알고리즘 자체(탐색 확대, 질문 증강, SFT-RL 교차)를 수정하는 데 초점을 맞춘 것과 달리, RL 이전 단계에서 참조 해답을 활용해 모델 기저 역량을 향상시키는 pre-RL initialization 관점을 제시한 점이 독창적이다.
• 참조 해답을 그대로 모방하는 대신 부분 힌트로 활용하여 모델 자신의 추론 분포 내에서 trajectory를 합성한다는 아이디어는 ReFT의 한계(풀 수 없는 문제에 적용 불가)와 단순 SFT의 한계(분포 불일치로 인한 일반화 저조)를 동시에 해결하는 절충안으로 참신하다.
• RL 알고리즘 선택과 orthogonal한 방법으로 제안되어 다양한 RL 파이프라인에 결합 가능하다는 점도 실용적 독창성을 더한다.

Limitation & Further Study

• 본문 발췌에는 partial reference의 길이나 절단 지점을 어떻게 결정하는지에 대한 구체적 알고리즘 및 하이퍼파라미터 민감도 분석이 명확히 드러나지 않아, 방법의 재현성과 일반화 가능성 검증이 추가로 필요하다.
• 실험이 AIME 계열의 경시대회 수준 수학 문제에 국한되어 있어, 다른 도메인(코딩, 과학적 추론 등)이나 다른 난이도 분포의 데이터셋에서도 효과가 유지되는지에 대한 검증이 부족하다.
• 참조 해답의 품질이나 스타일에 따라 ReGFT의 효과가 어떻게 달라지는지, 그리고 참조 해답이 부재한 경우의 적용 가능성에 대한 논의가 필요하다.
• 후속 연구로 partial reference 비율을 자동으로 결정하는 적응형 스케줄링이나, 다양한 RL 알고리즘(GRPO, PPO 등)과의 결합 실험을 확장할 수 있다.

Evaluation

총평: RL 이전의 초기화 단계에서 참조 해답을 부분적으로 활용해 모델의 자체 추론 분포와 정합적인 trajectory를 합성함으로써 보상 희소성 문제를 효과적으로 완화하는 실용적이고 간단하면서도 효과가 명확한 방법을 제시한 논문이다. 다만 방법의 세부 설계 선택(부분 참조 비율 등)에 대한 심층 분석과 다양한 도메인으로의 일반화 검증이 추가된다면 더욱 완성도 높은 연구가 될 것이다.