Can A Base LLM Verify Its Own Math? A Pre-Registered Discriminator-Generator Asymmetry Test On AIME And Four Corrective Probes

Motivation

• Known: reasoning-RL 계열 방법론(self-rewarding RL, STaR, ReST, process-reward model 등)은 base 모델이 자신의 chain-of-reasoning을 스스로 판별(discriminate)할 수 있다는 전제에 기반하며, West et al.의 generative AI paradox는 짧은 분류/단답형 과제에서 discrimination이 generation보다 쉬움을 보였다.
• Gap: 이 discriminator-generator asymmetry가 중간 추론 단계가 중요한 어려운 다단계 수학(AIME) 문제에도 확장되는지는 검증된 바 없었고, 기존 corruption 프로토콜이 최종 답을 그대로 노출시켜 모델이 실제로 중간 추론을 읽는지조차 구분하지 못하는 confound가 존재했다.
• Why: math-RL self-teacher 파이프라인이 외부 교사 없이 base 모델 자신의 판단만으로 추론을 개선할 수 있는지는 reasoning-RL 연구 전반의 핵심 전제이며, 이 전제가 틀렸는지 혹은 측정 방법이 틀렸는지를 구분하는 것은 파이프라인 설계에 직접적인 함의를 갖는다.
• Approach: Qwen2.5-1.5B base로 51개 AIME 고난도 문제에 대해 사전등록된 행동 테스트를 수행해 실패를 확인한 뒤, log-probability 확장 실험에서 confound(최종 답 노출)를 발견하고, 이를 교정하는 네 가지 probe와 LoRA 개입 실험을 통해 perception과 verbalization을 분리해 다섯 모델 계열, 11개 configuration에 걸쳐 검증한다.

Achievement

Figure 1. Cross-family verdict-vs-perception decomposition across the eleven-model panel. Left: Probe 1 (answer-relabele

1. 사전등록 테스트의 완전 실패 확인: Qwen2.5-1.5B base가 51개 어려운 AIME 문제에서 locked decision rule의 모든 sub-criterion을 통과하지 못함을 보였다.
2. Confound 진단: 표준 corruption 프로토콜이 최종 답을 그대로 남겨, 테스트가 모델이 중간 추론을 실제로 읽는지 감지하지 못함을 밝혔다.
3. Perception-verbalization 분해: 두 probe에서 perception(내적 판별 능력)은 모든 모델·문제에서 보편적으로 존재하지만, verbalization(명시적 YES/NO 판정)은 계열별로 다름을 보였다(Qwen·R1-Distill은 통과, Llama-3.1/Mistral/Gemma-2 순정 base는 실패).
4. 개입 실험으로 인과관계 확인: 1,000예제 LoRA fine-tuning만으로 Llama-3.1-8B base의 Δverdict가 0에서 +2.67로 상승, perception은 그대로 둔 채 verbalization만 교정 가능함을 입증했다.

How

Figure 1. Cross-family verdict-vs-perception decomposition across the eleven-model panel. Left: Probe 1 (answer-relabele

• 51개 hard AIME 문제(pass@1024=0)를 mining하고, No_cot/Oracle/Corrupted/Shuffled 네 가지 프롬프트 조건으로 discrimination score pdisc를 측정
• 사전등록된 locked decision rule(평균 점수, 문제별 임계치, paired sign test)을 적용해 gate 통과 여부 판정
• synthetic memorization control과 step-shuffle control로 대안 설명(암기, 답 토큰 매칭) 배제
• 5개 모델 계열(1.5B-72B)에 대해 17개 measurement의 log-probability 확장 실험 수행, teacher-forcing으로 log p(정답|prompt) 측정
• confound 발견 후 네 가지 corrective probe(answer-relabeled corruption, YES/NO verdict probe 등) 설계 및 11개 open-weights configuration(Qwen2.5, DeepSeek-R1-Distill, Llama-3.1, Mistral, Gemma-2)에 적용
• 1,000-example LoRA fine-tune으로 YES/NO supervision만 주입해 verdict 신호 변화를 직접 개입 실험으로 검증

Originality

• 기존 discriminator-generator asymmetry(West et al.)를 짧은 분류/단답형 과제가 아닌 다단계 수학 chain-of-thought 검증으로 확장한 최초의 사전등록 행동 실험
• 표준 corruption 프로토콜의 숨겨진 confound(최종 답 노출)를 발견하고 이를 수정하는 네 가지 probe를 새로 설계
• "모델이 수학을 검증할 수 없다"는 단일한 부정적 결론을 perception과 verbalization이라는 두 개의 분리 가능한 하위 능력으로 재구성한 개념적 기여
• 관찰적 상관을 넘어 LoRA fine-tuning을 통한 인과적 개입으로 perception-verbalization 분리를 실증

Limitation & Further Study

• 사전등록 행동 테스트는 여전히 실패하며, 이는 self-teacher 파이프라인이 hard problem에서 base가 자발적으로 정답 chain을 생성해야 한다는 병목이 남아있음을 의미하므로 논문의 핵심 주장(perception은 보편적)이 실제 RL 파이프라인 성능 개선으로 이어지는지는 별도 검증이 필요함
• 모델 계열이 5개, configuration이 11개로 제한적이라 verbalization의 family-specific 패턴이 pretraining corpus 구성이나 tokenizer 차이 등 다른 요인에 의한 것일 가능성 배제가 부족함
• synthetic control 문제 수(50개)와 hard AIME set(51개)이 통계적으로 충분하다고 주장하나 여전히 소규모이며, 더 다양한 도메인(비수학 reasoning)으로의 일반화는 검증되지 않음
• LoRA 개입이 1,000예제라는 적은 데이터로 효과를 보인 것은 흥미롭지만, 이것이 실제 downstream reasoning 성능 개선(정답률 상승)으로 이어지는지에 대한 직접적 증거는 제시되지 않음

Evaluation

총평: 사전등록 방법론과 철저한 confound 진단을 결합해 "모델은 자신의 수학을 검증할 수 없다"는 통념을 정교하게 반박하는 견고하고 참신한 실증 연구이나, 최종 self-teacher 파이프라인의 실질적 유용성 검증은 여전히 과제로 남는다.