Boosting Reinforcement Learning with Verifiable Rewards via Randomly Selected Few-Shot Guidance

Motivation

• Known: RLVR(GRPO 등)은 수학·코딩 등 검증 가능한 보상을 활용해 LLM의 chain-of-thought 추론 능력을 크게 향상시켰으나, 어려운 문제에서 올바른 rollout을 얻기 어려워 샘플 효율이 낮다는 한계가 알려져 있다. 이를 보완하기 위해 SFT를 RL과 결합하는 demonstration-guided RLVR(예: LUFFY, HPT, ReLIFT, SASR, MIFO, CHORD 등)이 제안되어 왔다.
• Gap: 기존 demonstration-guided RLVR 방법들은 수천~수만 개의 SFT 데이터를 필요로 하는데, 이러한 고품질 demonstration을 대량으로 수집하는 것은 인건비·저작권·API 비용 등 측면에서 매우 비싸고 비현실적이다. 소수의 무작위 선택된 demonstration만으로 RLVR 성능을 끌어올릴 수 있는지에 대한 연구가 부족하다.
• Why: SFT 데이터 확보 비용이 RLVR 도입의 실질적 병목이므로, 단 128개의 무작위 샘플만으로 기존 대규모 SFT 기반 방법과 대등하거나 더 나은 성능을 낼 수 있다면 RLVR의 실용성과 접근성이 크게 향상되고 향후 post-training 파이프라인 설계에 중요한 시사점을 준다.
• Approach: GRPO 기반 answer-only RL 학습에 few-shot SFT 데이터를 활용한 semi-online DPO loss를 결합하되, expert demonstration을 positive, agent rollout을 negative로 사용하고 decaying β weight를 적용하여 overfitting을 방지하는 FEST 알고리즘을 제안한다. 또한 token-level GRPO와 sequence-level DPO 간의 gradient mismatch를 해결하기 위해 DPO의 online 항을 negative advantage GRPO loss로 대체한 FEST-GRPO 변형도 제시한다.

Achievement

Figure 3. Performance scalability across varying shot counts.

1. FEST 알고리즘 제안: 단 128개의 무작위 선택 demonstration만으로 여러 수학 벤치마크에서 기존 baseline 대비 수십~수백 배 적은 SFT 데이터로 동등하거나 더 우수한 성능을 달성.
2. 세 가지 핵심 요소 규명: supervised signal, on-policy signal, decaying weight가 few-shot 환경에서 필수적임을 실험적으로 검증.
3. 이론적 확장: HPT의 unified post-training 프레임워크를 DPO를 포함하도록 이론적으로 확장(Appendix B.3).
4. FEST-GRPO 변형 개발: DPO와 GRPO 간 gradient 단위 불일치를 해결하는 대안적 손실 함수 설계.
5. 다양한 벤치마크 실증 검증: 여러 강력한 baseline과 비교하여 FEST의 일관된 성능 우위를 확인.

How

Figure 2. Gradient norm comparison between DPO and GRPO

• GRPO를 이용한 answer-only 데이터셋(D_I)에 대한 on-policy RL 학습을 기본 축으로 사용.
• 소수(128개)의 few-shot SFT 데이터셋(D_E)에 대해 semi-online DPO loss를 결합, expert rollout(y+)을 positive, agent 자신의 rollout(y−)을 negative sample로 활용해 exposure bias를 줄이고 adversarial training 효과를 얻음.
• decaying β 계수를 도입해 few-shot 데이터에 대한 다중 epoch 학습 시 발생하는 overfitting을 억제.
• DPO는 sequence-level, GRPO는 token-level 손실이라는 불일치를 해소하기 위해, DPO의 online 항을 negative advantage를 갖는 GRPO loss로 대체한 FEST-GRPO 변형을 제안.
• 다양한 shot 수, gradient norm 비교, SFT trajectory ratio 변화, 학습 정확도 프로파일 등을 통해 각 구성 요소의 효과를 분석.

Originality

• 기존 demonstration-guided RLVR 연구들이 수천~수만 개의 SFT 데이터를 필요로 하는 것과 달리, 단 128개의 무작위 선택 demonstration만으로 유사하거나 더 나은 성능을 달성하는 새로운 few-shot 패러다임을 제시.
• semi-online DPO를 활용해 supervised signal, on-policy signal, decaying weight라는 세 요소를 동시에 만족시키는 손실 함수 설계는 기존 방법에서 다루지 않은 조합.
• token-level GRPO와 sequence-level DPO 간의 구조적 불일치를 명시적으로 규명하고 이를 해결하는 FEST-GRPO 변형을 제안한 점이 독창적.
• HPT의 unified post-training 이론 틀을 DPO까지 확장하여 이론적 정당성을 부여.

Limitation & Further Study

• 128개라는 few-shot 수치가 특정 데이터셋과 태스크(주로 수학)에 국한되어 검증되었으며, 코딩 등 다른 도메인이나 더 어려운 태스크에 대한 일반화 가능성은 추가 검증이 필요하다.
• decaying weight의 스케줄(하이퍼파라미터) 설정에 대한 민감도 분석이 충분히 다뤄지지 않았을 가능성이 있으며, 실제 배포 시 튜닝 비용이 발생할 수 있다.
• 무작위 선택된 demonstration의 질에 따른 성능 편차(즉, 운 좋은 샘플링 대 나쁜 샘플링)에 대한 강건성 분석이 부족해 보인다.
• 향후 연구로는 더 다양한 도메인(코딩, 멀티모달) 및 더 큰 모델 스케일에서의 검증, 그리고 few-shot 선택 전략(무작위가 아닌 능동적 선택) 최적화가 필요하다.

Evaluation

총평: SFT 데이터 확보 비용이라는 실질적 병목을 겨냥해 단 128개의 무작위 demonstration만으로 demonstration-guided RLVR의 효과를 재현한 실용적이고 참신한 연구로, 세 가지 핵심 요소에 대한 명확한 분석과 이론적 확장이 돋보인다.