Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models

Motivation

• Known: Google DeepMind와 DeepSeek 등은 커스텀·비공개 모델을 이용해 IMO 금메달 수준 성능을 달성했고, 공개 모델을 이용한 대규모 병렬 추론(예: 최대 64K LLM calls, 8B tokens/문제)으로도 유사한 성능을 재현할 수 있음이 보고되었으나 문항당 약 3000 USD에 달하는 막대한 비용이 든다.
• Gap: 기존 solver-grader 파이프라인은 grader가 solver와 동일한 파라미터/컨텍스트를 공유하는 경우가 많아, 결함이 있는 solution을 반복 정제하는 과정에서 grader가 이를 "사소한 실수"로 오판하고 높은 점수를 주는 Cognitive Well 현상이 발생하며, 이를 회피하기 위해 대규모 병렬성에 의존해 비용이 폭증하는 문제가 있었다.
• Why: 수학 추론 능력은 AI의 일반 추론 능력을 가늠하는 중요한 벤치마크이며, 저비용으로 최고 성능을 내는 파이프라인은 일반 연구자와 애호가들도 최첨단 수학 reasoning 능력에 접근할 수 있게 하여 연구 재현성과 접근성을 크게 높인다.
• Approach: 이 논문은 solver-grader 파이프라인의 실패 원인(Cognitive Plateau, Cognitive Well)을 규명하고, 진행이 정체될 때 candidate lemma(conjecture)를 추출해 원 문제와 분리된 fresh context에서 해당 conjecture와 그 부정(negation)을 독립적으로 검증하는 conjecture extraction/context detachment 기법을 제안한다.

Achievement

1. 최고 성능 달성: Gemini 3.1 Pro를 이용해 IMO-ProofBench Advanced(PB-Adv)에서 87.6% 성능을 달성하여, IMO 금메달을 획득한 DeepThink 모델의 성능을 능가함.
2. 압도적인 비용 효율성: 문항당 평균 약 9 USD의 비용으로, 문항당 3000 USD가 드는 DeepSeekMath V2(61.9%)나 300 USD 이상이 드는 Huang & Yang(2025) 파이프라인(24%)보다 훨씬 저렴하면서도 성능은 3배 이상 우수함.
3. 범용 모델만으로 구현: 커스텀 학습이나 비공개 모델 없이 off-the-shelf 범용 모델만으로 최고 수준 성능을 재현하여, 일반 연구자들도 접근 가능한 파이프라인을 제시함.
4. 실패 모드 규명: Cognitive Plateau와 Cognitive Well이라는 두 가지 solver-grader 파이프라인의 실패 양상을 정의하고, 특히 Cognitive Well이 grader의 reward hacking과 유사한 현상임을 실증적으로 밝힘.

How

• 문제를 여러 병렬 solver-grader 쌍(module A)에 투입하여 solution을 생성 및 채점
• 진행이 정체(stalled)되었다고 판단되면 Conjecture Extractor가 현재까지의 proof attempt에서 candidate lemma(conjecture) Ci를 추출
• 각 conjecture와 그 부정(¬Ci)을 독립적이고 깨끗한 context(context detachment)에서 별도의 solver-grader 모듈로 검증(Conjecture Resolution)
• 검증된 conjecture(또는 그 부정)의 증명을 다시 원래 문제 해결 과정에 피드백하여 최종 solution 도출에 활용
• grader의 피드백을 짧은 목록의 결함(일부는 질문 형태)으로 제한하여 grader가 잘못된 solution을 전반적으로 수용하는 것을 방지

Originality

• Cognitive Well이라는 새로운 실패 양상(iterative refinement가 solver와 grader 모두에게 "거의 맞는 것"으로 보이는 잘못된 해로 수렴하는 현상)을 처음으로 명명하고 정의함
• conjecture extraction과 context detachment(conjecture와 그 부정을 fresh context에서 독립 검증)라는 개념적으로 새로운 해법을 제시함
• 대규모 병렬성이나 커스텀 훈련 모델 없이도, 실패 원인에 대한 통찰만으로 비용을 두 자릿수 이상 절감하면서 성능을 극대화함
• grader의 역할에 대한 통념("grader as compass")을 재검토하고, binary verification에는 유효하지만 progress measure로는 신뢰할 수 없음을 지적한 이론적 논의를 제공함

Limitation & Further Study

• 논문 발췌본에서는 conjecture extraction 및 resolution의 세부 알고리즘(정지 조건, conjecture 개수 결정 방식 등)이 충분히 설명되지 않아 재현성 검증이 어려움
• 자연어 증명(natural language proof)에 초점을 맞추고 있어 LEAN 등 형식적 증명(formal proof) 파이프라인과의 정합성 및 비교가 부족함
• 비교 대상(Aletheia, DeepSeekMath V2 등)의 비공개 비용/컴퓨트 정보로 인해 완전히 공정한 비교가 어려운 한계가 있으며, 향후 다양한 문제 유형과 난이도에 대한 일반화 검증이 필요함
• Autograder와 Expert grader 간 불일치 가능성에 대한 심층 분석이 추가로 요구됨

Evaluation

총평: 기존 고비용 대규모 병렬 파이프라인의 실패 원인을 명확히 규명하고 이를 개념적으로 해결하는 경량 기법을 제시하여, 비용 대비 성능 면에서 매우 인상적인 결과를 보여주는 실용적이고 통찰력 있는 연구이다.