The Role of Feedback Alignment in Self-Distillation

Motivation

• Known: Process supervision(PRM)은 outcome-only reward보다 수학 추론에서 더 나은 성능을 보이는 것으로 알려져 있으며, self-distillation은 context c를 활용해 in-context 능력을 context-free policy로 distill하는 teacher-free on-policy 학습 기법으로 최근 제안되었다.
• Gap: PRM은 비싼 step-labeled 데이터와 별도의 reward model 학습을 요구하고, 기존 self-distillation 연구들은 context(예: reference solution, execution trace 등)를 고정된 선택으로만 다루었을 뿐, context의 구조가 학습되는 내용에 어떤 영향을 미치는지는 연구되지 않았다.
• Why: critic feedback을 통해 reward model 학습 없이도 PRM과 유사한 dense하고 위치별로 정확한 credit assignment를 얻을 수 있다면, 값비싼 step-labeled 데이터 수집과 별도의 reward model 유지 없이도 process supervision의 이점을 훨씬 간단한 파이프라인으로 재현할 수 있다는 실용적 의의가 크다.
• Approach: solver–critic 구조에서 GRPO(binary reward), REFSOL(reference solution 기반 self-distillation), STEPALIGNFB(solver의 reasoning trace에 정렬된 step-by-step critique 기반 self-distillation) 세 가지 training signal을 통제된 조건에서 비교하고, per-token advantage 분석으로 그 차이의 원인을 규명한다.

Achievement

Figure 2. STEPALIGNFB matches or exceeds GRPO and REFSOL on OpenMathReasoning. REFSOL conditions the teacher on the

1. STEPALIGNFB의 우월한 성능: OpenMathReasoning 필터링 부분집합의 평가셋에서 STEPALIGNFB가 GRPO 대비 Avg@12 기준 16.11점, REFSOL 대비 5.27점 높은 성능을 달성하며 모든 aggregation-style accuracy metric에서 두 baseline을 능가함.
2. 암묵적 process supervision 효과 규명: per-token advantage 분석을 통해 STEPALIGNFB가 오류가 발생한 위치 근처 token에 distributional shift를 집중시켜 PRM과 유사한 국소화 효과를 reward model 학습 없이 제공함을 보임.
3. feedback alignment의 중요성 제시: 완전하고 정확한 reference solution조차 solver의 실제 trace와 surface form에서 divergence가 있으면 신호가 diffuse해짐을 보여, feedback의 내용 품질뿐 아니라 solver trace와의 정렬(alignment) 자체가 credit assignment 품질에 핵심적임을 실증함.

How

Figure 4. Incorrect step. Per-token advantages for a rollout containing an arithmetic/reasoning error at the step marked

• Solver πθ가 각 질문 x에 대해 step-tagged reasoning trace(⟨step1⟩...⟨stepN⟩⟨answer⟩) 형태로 G개의 rollout 생성
• Frozen critic πcritic이 solver의 response에 대해 feedback f 생성 (조건별로 상이)
• Solver는 self-distillation loss (forward KL 기반, Eq. 2)를 이용해 f를 context로 하여 학습, 이때 divergence, hyperparameter는 모든 조건에서 고정
• 세 가지 feedback 조건 비교: (i) GRPO: critic/self-distillation 없이 binary reward만 사용하는 표준 RLVR baseline, (ii) REFSOL: 강한 모델이 생성하거나 precompute된 reference solution을 context로 사용, (iii) STEPALIGNFB: critic이 solver의 step-tagged response와 reference solution을 모두 받아 solver trace에 정렬된 step-by-step critique를 생성
• per-token advantage ASD_t = log πθ(ŷt|x,c,y<t) − log πθ(ŷt|x,y<t)를 계산하여 fully-correct rollout, incorrect step 포함 rollout, incomplete solution 등 다양한 사례에서 advantage의 위치별 분포를 시각화·분석

Originality

• self-distillation의 context(feedback) 구조를 독립변인으로 명시적으로 통제하여 비교한 최초의 연구로, 기존 연구들이 context를 고정된 설계 선택으로만 다뤘던 것과 차별화됨
• reward model을 학습하지 않고도 critic의 자연어 feedback을 solver trace에 정렬시키는 것만으로 PRM과 유사한 per-token 수준의 dense credit assignment를 얻을 수 있음을 이론적(advantage 수식)·실증적으로 모두 보임
• feedback의 '내용 품질'과 'solver trace와의 정렬(alignment)'을 개념적으로 분리하여, 정렬이 품질만큼(또는 그 이상으로) credit assignment 국소화에 중요함을 명시적으로 규명

Limitation & Further Study

• OpenMathReasoning의 필터링된 부분집합이라는 한정된 도메인(수학 추론)에서만 검증되어, 다른 reasoning task(코드, 논리 추론 등)로의 일반화 가능성은 확인되지 않음
• solver와 critic이 같은 모델(self-distillation)이라는 설정에 의존하므로, critic의 feedback 품질이 solver 자체의 능력 한계에 의해 제약될 가능성이 있고 이에 대한 분석이 부족함
• STEPALIGNFB 생성에 critic이 reference solution을 함께 참조해야 하므로 완전히 reference-free한 환경에서의 적용 가능성은 추가 검증이 필요함
• 후속 연구로는 다양한 도메인 및 더 큰 스케일의 모델, reference solution 없이 step-aligned feedback을 생성하는 방법에 대한 탐구가 필요해 보임

Evaluation

총평: reward model 학습 없이도 feedback을 solver trace에 정렬시키는 것만으로 process supervision과 유사한 국소화된 credit assignment를 얻을 수 있음을 명확한 실험 설계와 advantage 분석으로 설득력 있게 보여준 워크숍급 논문으로, 실용적 파급력이 크지만 검증 범위가 제한적이다.