Dense Supervision but Sparse Guidance: A Token-Level Analysis of On-Policy Self-Distillation

Motivation

• Known: RLVR는 code generation이나 수학적 추론 같은 verifiable task에서 pass/fail 형태의 sparse outcome reward만 제공하여 세밀한 credit assignment가 어렵다. OPSD(SDPO, π-Distill, Self-Distilled Reasoner 등)는 student 자신의 파라미터로부터 유도된 teacher가 privileged feedback(실행 결과, ground-truth 등)을 조건으로 token-level KL divergence를 제공하여 dense한 학습 신호를 만든다.
• Gap: 기존 연구는 OPSD의 downstream 성능 향상에만 초점을 맞췄을 뿐, teacher-student disagreement가 실제로 어디에 집중되는지, 알고리즘적으로 의미 있는 token을 겨냥하는지, teacher가 제안한 correction이 실제 오류를 해결하는지는 검증되지 않았다. 특히 teacher와 student가 동일한 파라미터를 공유하는 OPSD 구조에서 이러한 supervision의 신뢰성은 불명확하다.
• Why: token-level supervision의 local corrective quality와 optimization usefulness가 서로 다를 수 있다는 발견은, 향후 self-distillation 및 token-level RL objective 설계에서 "국소적으로 옳은 token 예측"보다 "생성 궤적을 다른 경로로 유도하는 능력"에 초점을 맞춰야 함을 시사하며, SDPO가 GRPO를 능가하는 이유에 대한 새로운 설명을 제공한다.
• Approach: Qwen3 계열 모델(1.7B, 4B, 8B)과 LiveCodeBench를 사용해 SDPO의 token-level reverse KL divergence가 집중되는 peak-disagreement position(t*)을 정의하고, 이 위치의 의미론적 역할(코드 로직 관련 여부), 실패 원인 여부, teacher의 자유 continuation 및 단일 token 대체 실험을 통해 supervision의 국소적 교정력과 궤적 조향 효과를 정량적으로 분석한다.

Achievement

1. KL 집중 현상 규명: failed rollout에서 KL divergence는 소수의 위치(t*)에 날카롭게 집중되며(rank-1 token이 전체 KL의 9~20% 차지), 이러한 peak position 중 45.0%(1.7B)~71.3%(4B)가 comment나 docstring 같은 코드 로직과 무관한 token임을 확인했다.
2. 국소 교정력의 낮은 신뢰성 입증: peak-disagreement position의 token이 실제 failure의 주된 원인으로 판단되는 경우는 전체의 1.1~8.9%에 불과하며, 이러한 신뢰성 gap은 학습이 진행되어 pass rate가 두 배 이상 향상되어도 지속됨을 보였다.
3. Teacher의 trajectory steering 효과 발견: t* 지점에서 teacher가 자유롭게 continuation을 생성하면 7.9~13.3%의 정답률을 보여 국소 교정보다 훨씬 높은 성공률을 나타냈으나, teacher가 student와 파라미터를 공유함으로 인한 한계(낮은 성공률)도 함께 드러났다.
4. 단일 token 대체의 효과 검증: teacher가 선호하는 token 하나만 student 생성에 대체 삽입하면 9.9%의 정답률을 달성하여(same-token control 1.7% 대비), teacher의 free continuation 능력의 71%를 회복함을 보였다.
5. SDPO vs GRPO 설명 프레임워크 제시: GRPO는 sparse outcome reward를 시퀀스 전체에 균등 분배하는 반면 SDPO는 t* 부근에 GRPO 대비 40~80배 많은 KL divergence를 집중시켜 공간적으로 구조화된 optimization 신호를 제공하며, 이것이 local repair가 아닌 trajectory steering을 통해 성능 이점을 만든다는 가설을 뒷받침했다.

How

• SDPO의 학습 목적함수를 정식화하고, 각 position t에서의 reverse KL divergence KL(t) = D_KL(p_θ(·|x,y<t) ∥ p_ϕ(·|x,y<t,f))를 정의
• peak-KL position t = argmax_t KL(t)를 정의하고 Qwen3-{1.7B, 4B, 8B} 모델의 failed rollout에서 t 주변 ±30 token window의 KL profile 및 rank별 KL concentration ratio를 측정
• t* 위치의 token을 semantic role(코드 로직 관련 여부: comment/docstring 등)로 분류하여 비중 산출
• t* 위치 token이 failure의 primary cause인지 여부를 판정하는 평가 프로토콜 수립
• teacher가 t*부터 자유롭게 continuation을 생성했을 때의 성공률(correct program 생성 비율) 측정
• teacher-preferred token만 t*에서 대체 삽입 후 student가 이어서 생성하도록 하는 개입 실험과 same-token control 비교
• KL loss를 t* 이후 truncate했을 때의 SDPO 성능(LiveCodeBench validation accuracy) 비교를 통해 peak 이후 supervision의 기여도 검증
• 학습 진행에 따른 pass rate와 신뢰성 gap(local corrective quality)의 변화 추적

Originality

• teacher와 student가 파라미터를 공유하는 OPSD라는 특수한 설정에서, token-level KL supervision을 semantic role, failure causality, trajectory steering 관점에서 다각도로 분해하여 분석한 최초의 진단 프레임워크를 제시함
• "dense supervision이지만 sparse guidance"라는 역설적 현상을 실증적으로 규명하고, local corrective quality와 optimization usefulness가 분리될 수 있음을 정량적으로 보임
• teacher-preferred token 하나만 대체하는 minimal intervention 실험을 통해 token-level supervision의 효과가 국소적 정확성이 아닌 궤적 전환(trajectory divergence)에서 비롯됨을 인과적으로 검증함

Limitation & Further Study

• 분석이 code generation(LiveCodeBench)과 Qwen3 계열 모델에 한정되어 있어, 수학적 추론 등 다른 RLVR task나 다른 model family에 대한 일반화 가능성은 추가 검증이 필요함
• teacher의 corrective ceiling(7.9~13.3%)이 낮은 이유가 parameter-sharing 구조에 기인한다고 가설을 세웠으나, 더 강력한 teacher, 외부 지식, 대안적 supervision mechanism을 사용한 비교 실험은 후속 연구로 남겨짐
• failure의 "primary cause" 판정 기준이나 semantic role 분류(comment/docstring 여부)에 사람 또는 LLM 기반 판별의 주관성이 개입될 가능성이 있어, 판정 프로토콜의 신뢰도에 대한 추가 검증이 필요함
• 단일 token 교체 실험이 t* 한 지점에 국한되어 있어, 여러 위치에서의 개입이 누적적으로 어떤 효과를 갖는지는 다루지 않음

Evaluation

총평: OPSD의 token-level supervision이 실제로는 국소적 교정보다 궤적 조향을 통해 효과를 발휘한다는 통찰력 있는 분석을 제공하며, SDPO의 성공 원리에 대한 새로운 해석을 제시하는 잘 설계된 진단 연구이다. 다만 분석 범위가 code generation과 특정 model family에 국한되어 있어 더 넓은 RLVR 맥락으로의 일반화는 추가 검증이 필요하다.