Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

Motivation

• Known: 수학·코드처럼 프로그래밍적으로 검증 가능한 도메인에서는 verifiable reward를 이용한 RL(RLVR)이 성공적으로 활용되고 있으며, majority vote, best-of-N 등 병렬 rollout 기반 test-time scaling 기법이 추론 성능을 향상시키는 것으로 알려져 있다. 또한 Constitutional AI, Self-Instruct, TTRL, Absolute Zero 등 self-generated supervision 기법들이 존재한다.
• Gap: 기존 reference-free RL 방법들(TTRL, Absolute Zero 등)은 정답 일치 여부를 프로그래밍적으로 확인할 수 있는 검증 가능한 도메인에만 국한되어 있으며, 임상 가이드라인처럼 정답이 정성적이고 전문가마다 견해가 다를 수 있는 non-verifiable 도메인에서는 human annotation 파이프라인이나 불안정하고 편향(verbosity bias, reward hacking)에 취약한 LLM-as-a-judge에 의존할 수밖에 없었다.
• Why: 인간 라벨이나 도메인별 verifier 없이도 검증 불가능한 실세계 과제(의료 상담 등)에서 RL 학습이 가능해지면, post-training의 확장성과 적용 범위가 크게 넓어지고 이미 GRPO 등 group RL에서 소모되는 rollout 계산을 재활용해 추가 비용 없이 supervision을 얻을 수 있다는 점에서 실용적 중요성이 크다.
• Approach: 병렬 rollout 집합을 하나의 pseudo-reference로 합성(synthesis)한 뒤, 이를 근거로 검증 가능한 도메인에서는 answer matching을, 검증 불가능한 도메인에서는 모델이 스스로 제안한 binary rubric을 LLM judge가 채점하여 RL reward를 도출하는 2단계 프레임워크를 제안한다.

Achievement

Figure 3. CaT improves models by up to 30% relative to the initial policy. CaT matches or exceeds inference-time synthes

1. HealthBench 성능 및 효율성: CaT로 학습된 모델이 추론 시점 aggregation(합성) 품질에 필적하거나 이를 능가하면서도 테스트 시점 계산량을 9배 절감함을 보였다.
2. 전문가 주석과의 경쟁력: 비검증 도메인인 HealthBench에서 CaT가 의사(physician) 전문가 주석 기반 학습과 경쟁하며, 초기 정책 대비 최대 +30%의 상대적 성능 향상을 달성했다.
3. 검증 가능 도메인으로의 확장성: MATH-500의 test-time RL 세팅에서도 CaT가 기존 최고 baseline과 동등한 성능을 보여, 프레임워크가 검증 가능·불가능 도메인 모두에서 'drop-in' 방식으로 적용 가능함을 입증했다.
4. 세 가지 모델 패밀리에서의 일반화: Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B 세 모델 계열에서 일관된 개선을 확인해 방법의 모델-불가지성(model-agnostic) 특성을 입증했다.

How

Figure 4. Left: Self-proposed rubrics match physician-annotated rubrics and outperform model-as-judge (p < .05). Right:

• Reference Estimation: 정책 πt가 프롬프트 q에 대해 G개의 병렬 rollout(o1...oG)을 생성하고, 이를 frozen LLM이 조건부로 합성(synthesis)하여 하나의 pseudo-reference s를 구성 (majority vote, best-of-N도 대안으로 가능한 aggregator로 소개됨).
• Reward Derivation (검증 가능 도메인): pseudo-reference와 rollout의 answer matching 여부로 보상 산출.
• Reward Derivation (비검증 도메인, self-proposed rubrics): pseudo-reference로부터 binary·auditable criteria(예: "의료 전문가 상담을 권장하는지")를 모델이 스스로 생성하고, 독립적인 LLM judge가 각 rollout이 이 기준을 만족하는지 채점하여 만족 비율을 reward로 사용.
• RL 학습: 산출된 reward(R1...RG)를 이용해 GRPO 등 group RL 방식으로 정책을 πt+1로 업데이트하며, 이 과정에서 기존 group RL이 이미 소모하는 rollout sampling 계산을 재사용해 추가 오버헤드를 최소화.
• 실험 검증: HealthBench(non-verifiable)와 MATH-500(verifiable) 두 벤치마크, Gemma 3 4B/Qwen 3 4B/Llama 3.1 8B 세 모델에서 ablation 및 비교 분석 수행.

Originality

• 추론 시점 계산(inference compute) 자체를 reference-free supervision으로 전환한다는 프레임워크 수준의 새로운 관점을 제시함.
• self-proposed rubrics라는, 모델이 스스로 pseudo-reference 기반의 binary·auditable 채점 기준을 생성해 non-verifiable 도메인에서도 세분화된 reward를 제공하는 신규 메커니즘을 도입함.
• 기존 selection 기반 test-time scaling(majority vote, best-of-N)과 달리 synthesis라는 생성적 aggregation 전략으로 rollout 분포 밖의 새로운 pseudo-reference를 구성할 수 있음을 보여줌.
• self-training, knowledge distillation, test-time scaling, LLM-as-a-judge, 프로그래밍적 verification 등 여러 연구 흐름을 하나의 통합된 프레임워크로 연결함.

Limitation & Further Study

• self-proposed rubrics와 LLM judge에 의존하므로, judge 모델 자체의 편향이나 오류가 reward에 그대로 반영될 위험이 존재하며 이에 대한 견고성 분석이 제한적일 수 있음.
• rollout이 수렴해 서로 유사해지면 teacher 신호(Figure 6에서 언급된 바와 같이 정책 대비 큰 우위가 없어짐)의 효과가 감소하는 한계가 있어, 장기적 학습 안정성과 지속적 개선 가능성에 대한 추가 연구가 필요함.
• 실험이 HealthBench와 MATH-500 두 벤치마크, 세 모델 패밀리에 국한되어 있어, 더 다양한 non-verifiable 도메인(창작, 자유 대화 등)과 대형 모델로의 일반화 검증이 후속 과제로 남음.
• synthesis 외 다른 aggregator(예: 더 정교한 생성적 방법)와의 체계적 비교가 제한적이며, 최적 aggregator 선택에 대한 이론적 근거가 부족함.

Evaluation

총평: 인간 라벨이나 도메인 verifier 없이도 검증 불가능한 실세계 도메인에서 RL 학습을 가능케 하는 실용적이고 확장 가능한 프레임워크로, self-proposed rubrics라는 아이디어가 특히 신선하며 의료 도메인에서의 강력한 실증 결과가 인상적이다. 다만 LLM judge 의존성과 rollout 수렴에 따른 신호 약화 문제는 추가 검증이 필요하다.