Reinforcement Learning from Rich Feedback with Distributional DAgger

Motivation

• Known: RLVR은 sampled response에 대해 정답 여부의 단일 비트 보상만을 사용하는 방식으로 coding, math, science 등 검증 가능한 도메인에서 성공적으로 활용되어 왔으며, 최근에는 rich feedback을 조건화한 teacher를 만들어 student에 distill하는 on-policy self-distillation 기법들(SDPO, OPSD 등)이 reverse-KL이나 Jensen-Shannon divergence를 기반으로 제안되었다.
• Gap: 기존 on-policy self-distillation 방법들은 f-divergence(reverse-KL, JS) 기반 목적함수를 사용하는데, 이는 teacher가 student보다 확실히 더 나은 보상을 가져도 idealized natural-gradient update가 오히려 suboptimal action의 확률을 증가시킬 수 있어 monotonic policy improvement를 보장하지 못하며, 개별 토큰 단위의 local credit assignment에만 의존해 미래 시점의 teacher-student 불일치를 초기 결정으로 전파하지 못하는 한계가 있다.
• Why: RLVR의 credit assignment 부재와 검증 불가능한 도메인 적용의 어려움을 rich feedback을 통해 해결하면서도, 기존 self-distillation의 이론적 결함(policy improvement 미보장)을 극복하는 이론적으로 안전하고 실용적인 대안을 제시한다는 점에서 reasoning model 훈련의 근본적 문제를 다룬다.
• Approach: 고전적 DAgger 프레임워크를 distributional 관점으로 확장하여, 현재 정책이 방문한 state 위에서 blackbox expert distribution에 대한 forward cross-entropy를 최적화하는 DistIL을 제안하며, sequence-level gradient가 미래의 expert-student 불일치를 과거 결정으로 역전파하도록 설계한다.

Achievement

Figure 1. Validation Best@16 (top) and Maj@16 (bottom) over training for RL with self-distillation algorithm SDPO (Hübot

1. 이론적 한계 규명: f-divergence 기반 self-distillation(reverse-KL, JS)이 teacher가 더 우수해도 monotonic policy improvement를 보장하지 못하며 local credit assignment로 인해 suboptimal policy로 수렴할 수 있음을 증명(Propositions 3.1-3.3).
2. DistIL 알고리즘 제안: forward cross-entropy 기반의 distributional DAgger 변형으로 blackbox teacher를 허용하고 future-aware credit assignment를 수행하는 새로운 목적함수 설계.
3. 이론적 보장 확립: DistIL이 monotonic policy improvement(Proposition 5.2), sublinear regret(Theorem 5.3), teacher-weighted maximum-likelihood RL lower bound 최적화(Proposition 5.4)를 만족함을 증명하여 Pass@N 향상의 원리적 근거 제공.
4. 광범위한 실증 검증: 과학적 추론, 수학적 추론, 코딩 도메인에서 RLVR 및 SDPO, OPSD, GRPO 등 self-distillation 베이스라인 대비 일관된 성능 향상을 입증.

How

Figure 4. Comparison between DistIL (Ours) and CE. The difference between these methods lies in the credit assignment. C

• Contextual MDP 프레임워크에서 forward cross-entropy 목적함수를 student가 방문한 state 상에서 feedback-conditioned teacher 분포와의 cross-entropy로 정의(Equation 4)
• sequence-level gradient가 미래 시점의 teacher-student disagreement를 이전 timestep의 결정으로 전파하도록 설계(Equation 5), 이를 통해 rich credit assignment 달성
• teacher log-probability를 활용 가능하지만 필수는 아니며, teacher 샘플만으로도 추정 가능하도록 하여 human expert나 외부 모델 같은 blackbox teacher 수용
• f-divergence 기반 목적함수(reverse-KL, JS)와의 이론적 비교를 통해 monotonic improvement 실패 사례를 반례로 증명
• Qwen3-8B 등 모델을 사용해 scientific reasoning(biology, chemistry, materials, physics), LiveCodeBench(LCBv6), 수학 추론 벤치마크에서 SDPO, OPSD, GRPO와 비교 실험 수행

Originality

• 고전적 imitation learning의 DAgger를 distributional feedback 설정으로 확장하여 RLVR과 self-distillation을 통합하는 새로운 이론적 프레임 제시
• f-divergence 기반 self-distillation의 실패 사례를 최초로 엄밀히 규명하고, forward cross-entropy가 이를 극복함을 증명적으로 보인 점
• blackbox teacher(로그 확률 없이 샘플만으로 학습 가능)를 허용하는 실용적 설계로 human expert, 외부 모델 등 다양한 rich feedback 소스에 적용 가능하도록 일반화
• maximum-likelihood RL과의 연결을 통해 Pass@N 개선에 대한 원리적 설명 제공

Limitation & Further Study

• 이론적 보장(monotonic improvement, regret bound)이 idealized natural-gradient step 등 국소적 가정 하에서 증명되어, 실제 SGD 기반 학습에서 이 보장이 어느 정도 유지되는지는 추가 검증이 필요함
• blackbox teacher의 품질이 낮거나 노이즈가 큰 경우 성능에 미치는 영향에 대한 분석이 부족해 보임
• 실험이 주로 Qwen3-8B 단일 모델 규모에 집중되어 있어 다양한 모델 크기나 아키텍처에 대한 일반화 가능성 검증이 추가로 필요
• teacher-conditioning 방식(feedback을 어떻게 조건화하는지)에 따른 민감도 분석이나 다양한 rich feedback 유형별 세부 비교가 더 폭넓게 이루어지면 좋을 것

Evaluation

총평: RLVR의 credit assignment 한계와 기존 self-distillation의 이론적 결함을 명확히 규명하고, 이를 해결하는 이론적으로 탄탄하고 실용적인 DistIL 알고리즘을 제시한 우수한 연구로, imitation learning과 RLVR을 잇는 통찰력 있는 기여를 보인다.