Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

Motivation

• Known: RLVR은 binary reward만으로 광범위하게 적용 가능하지만 sparse supervision 때문에 학습 효율이 낮고, distillation 계열 방법(on-policy distillation, OPSD, SDFT, SDPO 등)은 dense token-level supervision을 제공하지만 외부 teacher나 고품질 demonstration이 필요하다.
• Gap: 기존 self-distillation 방법들도 external teacher 혹은 model보다 훨씬 나은 고품질 demonstration에 의존하는데, 이러한 supervision을 확보하는 것은 비용이 크거나 불가능한 경우가 많아, 모델 스스로의 (불완전한) 시도와 sparse reward만으로 dense supervision을 만들어낼 수 있는지가 미해결 문제로 남아 있다.
• Why: 외부 teacher나 고품질 demonstration 없이도 binary reward만으로 dense token-level supervision을 얻을 수 있다면, RLVR의 넓은 적용성과 distillation의 sample efficiency를 동시에 확보할 수 있어 post-training 비용을 크게 낮출 수 있다는 점에서 중요하다.
• Approach: SD-ZERO는 동일한 모델이 Generator(초기 응답 생성)와 Reviser(응답과 binary reward를 조건으로 개선된 응답 생성) 역할을 모두 수행하도록 Phase 1(Self-Revision Training)로 학습시킨 후, Phase 2에서 Reviser의 token distribution을 Generator에 on-policy self-distillation으로 증류하여 binary reward를 dense self-supervision으로 전환한다.

Achievement

Figure 5. Self-evolved reasoning through teacher synchroniza-

1. 10% 이상 성능 향상: Qwen3-4B-Instruct와 Olmo-3-7B-Instruct에서 base model 대비 각각 10.5%, 10.4%의 성능 향상을 달성했다.
2. 강력한 baseline 대비 우위: 동일한 question set과 training sample budget 조건에서 RFT, GRPO, SDFT 등 강력한 baseline들을 능가했다.
3. Phase 1만으로도 우수: SRT(Self-Revision Training) 단독으로도 동일 데이터 budget에서 모든 baseline을 능가하며, 6K self-generated revision trace만으로 Qwen3-4B-Instruct는 7.8%, Olmo-3-7B-Instruct는 9.2% accuracy 향상을 보였다.
4. 효율성 개선: Phase 2(Self-Distillation)가 응답 길이를 약 2배 줄이면서 SRT 대비 추가 2.7%(Qwen), 1.2%(Olmo) 성능 향상을 가져왔고, 학습 시 질문당 하나의 응답만 필요해 sample efficiency를 크게 높였다.
5. 반복적 self-evolution 발견: teacher를 주기적으로 갱신(synchronization)하면 revision 능력 향상이 다시 generation 성능으로 증류되어, 1 epoch 이후 teacher synchronization만으로 최소 3%의 추가 성능 향상을 얻을 수 있음을 보였다.

How

Figure 2. Overview of SD-ZERO. In Phase 1 (SRT), we collect 6K outcome-conditioned self-revision traces by sampling an i

• 데이터셋 D를 두 개의 disjoint subset(N1, N2)으로 분할하여 Phase 1과 Phase 2에 각각 사용
• Phase 1 (SRT): 초기 응답 yinit을 sampling하고 binary reward r(yinit, a)를 확인한 뒤, r=1이면 "Rephrase", r=0이면 "Start over" 형태의 control phrase Pr을 붙여 self-revision을 유도, 성공한 revision trace만 필터링하여 DREVISION 구성
• Lrevision(조건부 revision 생성)과 Lgeneration(원본 질문으로부터 처음부터 생성) 두 loss를 결합한 LSRT로 fine-tuning하여 하나의 모델이 generator와 reviser 역할을 동시에 학습
• Phase 2 (Self-Distillation): SRT model을 student(generator, πθ)이자 teacher(reviser, πθ_srt)로 사용, student가 on-policy로 생성한 응답과 그 reward를 조건으로 teacher가 revision을 생성, student policy와 teacher 분포 간 KL(πs || πt)를 최소화하는 on-policy self-distillation 수행
• teacher synchronization을 통해 student 갱신 후 teacher를 재동기화하여 여러 라운드에 걸쳐 self-evolution 반복

Originality

• Generator와 Reviser를 하나의 모델이 동시에 수행하도록 하여, 외부 teacher나 고품질 demonstration 없이 binary reward만으로 dense token-level supervision을 생성하는 새로운 paradigm 제시
• reward 값(r=0/1)에 따라 서로 다른 control phrase("Start over" vs "Rephrase")를 사용해 Reviser가 self-localization(어느 token을 고쳐야 하는지 식별)하도록 유도
• 학습이 진행됨에 따라 reviser 능력이 향상되고 이를 다시 teacher로 사용하는 teacher synchronization을 통한 iterative self-evolution 메커니즘을 제안, 이는 기존 self-distillation 방법(OPSD, SDFT, SDPO)이 고정된 고품질 demonstration에 의존하는 것과 근본적으로 차별화됨

Limitation & Further Study

• Phase 1(SRT)에서 여러 개의 초기 응답을 sampling하고 revision이 성공한 것만 필터링해야 하므로, 데이터 준비 단계 자체의 계산 비용(다중 sampling, 검증)이 상당할 수 있음
• 최종 성능은 binary verifier(정답 매칭)의 정확성에 의존하므로, verifier가 부정확하거나 noisy한 도메인(math/code 외 open-ended task)으로의 일반화 가능성이 불명확함
• teacher synchronization을 통한 반복적 self-evolution이 몇 라운드까지 지속적으로 성능을 향상시킬 수 있는지, 포화점(saturation point)이나 잠재적 collapse 위험에 대한 장기적 분석이 부족함
• 실험이 Qwen3-4B-Instruct와 Olmo-3-7B-Instruct 두 모델, math/code 두 도메인에 국한되어 있어 더 큰 모델 규모나 다양한 태스크로의 확장성 검증이 필요함

Evaluation

총평: binary reward를 dense token-level self-supervision으로 변환하는 self-generator-reviser paradigm은 외부 teacher 의존성을 제거하면서도 RLVR 대비 sample efficiency를 크게 높인 독창적이고 실용적인 기여로, post-training 연구에 의미 있는 방향을 제시한다.