The Self-Verification Cliff: Generation Outpaces Self-Selection in Frontier LLMs, and It Widens With Capability

Motivation

• Known: 기존 연구(Yue et al., 2025)는 RLVR이 base model의 sampling distribution 내에서 확률질량을 재분배할 뿐이며, pass@k 기준으로 base model이 이미 정답을 포함하고 있음을 보였다. 또한 Chen et al. (2026)은 Qwen 계열 내에서 self-verification이 scale이나 generation 능력 향상에 따라 개선되지 않음을 보였고, Lu et al. (2025)은 여러 모델을 verifier로 사용했을 때 distribution-similarity bias가 존재함을 보고했다.
• Gap: 기존 연구는 generation 능력(pass@k)에 초점을 맞추거나 within-family 분석에 그쳤고, cross-frontier-family 관점에서 generation과 self-selection 간 격차가 capability에 따라 어떻게 변하는지, 그리고 noise-free한 오라클(정수 정답) 환경에서 이를 엄밀히 측정한 연구는 없었다.
• Why: self-play, self-rewarding, RLVR 등 외부 checker 없이 모델 스스로 결과를 평가하는 self-evolving agent 패러다임이 암묵적으로 "모델이 자기 자신을 채점할 수 있다"고 가정하는데, 이 가정이 성립하지 않으며 오히려 강한 모델일수록 더 악화된다는 것은 self-improvement 루프 설계에 구조적 한계를 제기하는 중요한 발견이다.
• Approach: AIME 문제의 정수 정답이라는 노이즈 없는 정확한 오라클을 활용하여, 두 frontier model family(GPT-5.4-mini, Gemini-3.5-flash)에 대해 pass@k, self-best@k, maj@k, cross-select@k를 측정하고 이들 간 격차(cliff)와 회복률(recovered fraction)을 정량화한다.

Achievement

GPT-5.4-mini는 pass@8 54.7%에서 self-best@8은 41.9%로 12.8pt 격차(36% 회복)를, Gemini-3.5-flash는 5.8pt 격차(43% 회복)를 보였으며, 더 강한 generator일수록 절대적 cliff가 더 컸다. 또한 cross-family verifier가 generator보다 강할 때만 도움이 되고(+3.5pt), 약할 때는 오히려 self-selection보다 악화됨(-2.3pt)을 보였으며, majority voting은 diverse-answer 문제에서 self-selection을 개선하지 못함을 확인했다.

How

• 86개 AIME 문제(2023-2025)에 대해 각 모델에서 temperature 0.8로 k=8개의 chain-of-thought 샘플을 생성(boxed answer로 종료)
• pass@k는 Chen et al. (2021)의 unbiased estimator로 계산
• self-best@k는 모델에게 자신의 k개 후보를 보여주고 temperature 0에서 가장 정답일 것 같은 것을 선택하게 함
• maj@k는 self-consistency(최빈 boxed answer)로 계산
• cross-select@k는 다른 family의 모델이 generator의 k개 후보 중 선택(matched compute의 외부 verifier)
• cliff는 pass@k − self-best@k, recovered fraction은 (self-best@k − pass@1)/(pass@k − pass@1)로 정의
• 모든 지표는 정수 정답에 대한 exact match이므로 grading noise가 전혀 없는 oracle 기반 측정

Originality

• generation 능력(pass@k)에 집중했던 기존 연구(Yue et al., 2025)와 달리 self-selection(self-best@k)이라는 상보적 질문을 제기하고 이를 정수 정답이라는 노이즈 없는 오라클로 정밀 측정
• within-family 분석(Chen et al., 2026)을 cross-frontier-family로 확장하여 "cliff가 capability와 함께 넓어진다"는 반직관적 결과를 제시
• 외부 verifier의 효과가 단순한 distribution-similarity가 아니라 generator 대비 상대적 capability에 의해 결정된다는 capability-ordering rule을 제안(Lu et al., 2025의 발견을 정교화)
• majority voting이라는 표준 baseline이 diverse-answer 문제에서 실패함을 실증하여 self-consistency 기반 접근의 한계를 드러냄

Limitation & Further Study

• 단 2개 model family, 각 1개 capability level, 86개 문제라는 작은 규모로 통계적 검증력과 일반화 가능성에 한계가 있음
• k=8이라는 비교적 작은 샘플 수에서만 측정되어 더 큰 k에서의 경향은 검증되지 않음
• 답변 수준(answer-level) correctness만 평가하고 proof-level 정합성은 다루지 않아, 정답을 맞혔더라도 추론 과정이 타당한지는 확인되지 않음(저자들도 formal Lean oracle을 이용한 proof-level 확장을 향후 과제로 명시)
• self-best@k 선택 시 temperature 0을 사용했는데 이 설정이 선택 능력에 미치는 영향에 대한 ablation이 부족함
• verifier로 사용된 model 조합이 단 두 쌍에 불과해 "capability ordering rule"의 일반성을 뒷받침하기엔 근거가 제한적임

Evaluation

총평: 정수 정답이라는 깔끔한 오라클을 활용해 self-verification cliff라는 현상을 명료하고 설득력 있게 입증한 짧지만 임팩트 있는 workshop paper로, self-evolving agent 설계자들에게 외부 verification의 필요성에 대한 구체적 근거를 제공한다. 다만 모델 수와 문제 수의 규모가 작아 결과의 일반화에는 추가 검증이 필요하다.