SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision

Motivation

• Known: On-policy distillation(OPD)은 student가 자신의 rollout을 teacher가 채점하도록 하여 offline distillation의 exposure bias를 제거하고, GRPO 같은 RL 기법과 대등하거나 그 이상의 수학 추론 성능을 보이는 것으로 알려져 있다. Forward KL(mode-covering)과 reverse KL(mode-seeking) 두 divergence가 각각 다양성 보존과 sharpening에 유리하다는 것도 기존 연구에서 확인되었다.
• Gap: 기존 OPD 방법들은 token, 학습 단계(temporal), prompt 난이도라는 세 스케일에서 균일한 supervision(동일 divergence, 모든 token, 모든 학습 단계, 모든 난이도)을 적용하는데, 이는 OPD 고유의 특성—teacher 지도 품질이 student competence에 의존한다는 점—을 무시하여 비일관적인 rollout에서는 노이즈 gradient를, 이미 숙달된 token에서는 중복 gradient를 발생시킨다.
• Why: 이 문제는 세 개의 독립적 결함이 아니라 competence-dependent degradation이라는 단일 구조적 문제의 세 가지 증상이므로, 이를 통합적으로 진단하고 해결하는 원리가 필요하며, 이는 distillation 효율과 성능 모두에 직접적인 영향을 미치는 실용적으로 중요한 문제이다.
• Approach: teacher와 student 분포의 joint entropy를 competence-dependent degradation의 통합 probe로 사용하여, token 단위 zone 분할, 연속적 cosine annealing, competence-gated curriculum이라는 세 요소를 상호 필수적(symbiotically necessary)인 단일 프레임워크로 통합한다.

Achievement

1. SEAD 프레임워크 제안: joint teacher-student entropy를 이용해 token을 Zone A(skip), Zone B(RKL), Zone C(FKL)로 분할하는 sparse entropy-adaptive divergence 메커니즘을 도입해 약 50%의 token에서 gradient 계산을 생략한다.
2. Competence-driven annealing: 학습 진행에 따라 forward KL에서 reverse KL로 전환되는 연속적 cosine schedule을 도입해 기존의 수동 two-stage 전환 방식을 대체한다.
3. Competence-gated curriculum: OPD를 위해 특별히 설계된 최초의 prompt-level curriculum을 제안하여 student의 competence frontier 내의 prompt만 선택적으로 학습에 사용한다.
4. 성능 향상: OLMo-3(7B→32B) 및 Nemotron(8B→49B) 모델군에서 MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench 등 6개 수학 벤치마크에 대해 vanilla OPD 대비 평균 +4.8 정확도 향상, 특히 AIME24(+7.7), AIME25(+7.9)에서 큰 개선을 달성했다.
5. Super-additive interaction 확인: ablation 실험을 통해 세 컴포넌트(Token Zones, Annealing, Curriculum)가 결합될 때 개별 적용 대비 20배의 상승효과(super-additive interaction)를 보임을 검증했다.

How

• Assumption 2.1(수정된 PL 조건)을 통해 gradient norm이 student pass rate에 의해 조절되는 non-decreasing 함수 ϕ에 비례한다는 이론적 근거를 제시하여, entropy가 competence의 관찰 가능한 대리 변수(proxy)임을 정당화한다.
• 통합 손실 함수 LSEAD(θ, tstep)를 정의하여 Zone B(RKL 적용)와 Zone C(FKL 적용, annealing 계수 α(tstep)로 가중)에 대해서만 gradient를 계산하고, prompt는 competence frontier D(tstep) = {qi : di ≤c(tstep)} 내에서만 샘플링한다.
• 세 컴포넌트의 상호 필수성(symbiotic necessity)을 staged bootstrapping 개념으로 설명: curriculum이 entropy landscape를 안정화해 zone 분류의 신뢰성을 보장하고, curriculum이 보장하는 단조로운 competence 성장이 annealing schedule의 전제 조건을 충족시킨다.
• OLMo-3, Nemotron 두 모델군에 대해 실험을 수행하고, ablation을 통해 각 컴포넌트 단독 적용과 결합 적용의 효과를 비교 분석한다.

Originality

• OPD에서 teacher 지도 품질이 student competence에 의존한다는 구조적 성질을 처음으로 명시적으로 formalize(Assumption 2.1)하고, 이를 token/temporal/prompt 세 스케일에서 통합적으로 다룬 최초의 프레임워크이다.
• Joint teacher-student entropy를 단일 통합 probe로 사용해 zone 분할, annealing, curriculum이라는 세 개의 서로 다른 메커니즘을 하나의 원리로 연결한 점이 독창적이다.
• 기존 연구에서 open problem으로 남아있던 OPD 전용 prompt-level curriculum을 최초로 설계했다고 주장한다.
• 세 컴포넌트가 단순히 병렬적으로 도움이 되는 것이 아니라 상호 필수적(symbiotically necessary)이며 super-additive(20배)한 상호작용을 가진다는 것을 실험적으로 규명한 점이 새롭다.

Limitation & Further Study

• Assumption 2.1은 이론적 정당화를 제공하지만 실제 조건이 실험적으로 엄밀히 검증되었는지, 또는 특정 벤치마크·모델군에 국한된 경험적 관찰에 가까운지 불분명하다.
• 발췌된 부분에서는 hyperparameter(zone 임계값, curriculum 난이도 측도 di, annealing schedule의 구체적 형태 등)의 민감도 분석이 충분히 드러나지 않아, 다른 도메인(수학 외 reasoning task)이나 다른 teacher-student 크기 조합에 대한 일반화 가능성이 검증되지 않았다.
• 수학 추론 태스크에 특화된 설계(정답 채점 가능성, pass rate 정의 등)이므로, 이러한 명확한 reward/난이도 신호가 없는 open-ended task로의 확장 가능성에 대한 논의가 필요하다.
• 후속 연구로는 non-math domain 적용, curriculum 난이도 측도의 자동화, 더 큰 teacher-student gap에서의 안정성 검증 등이 요구된다.

Evaluation

총평: OPD의 competence-dependent supervision 문제를 entropy라는 단일 관찰량으로 통합 진단하고 세 스케일(token, temporal, prompt)에서 상호 보완적으로 해결한 점이 이론적·실용적으로 설득력 있으며, super-additive 상호작용을 실험적으로 입증한 ablation이 강점이다. 다만 일반화 가능성과 hyperparameter 민감도에 대한 추가 검증이 필요해 보인다.