No LLM Aced Yu Tsumura's 554th Problem

Motivation

• Known: 최근 LLM들은 IMO 금메달 수준의 성과를 보이며 수학 문제 해결 능력에 대한 낙관론이 확산되고 있고, GSM8K, MATH, FrontierMath 등 answer-based benchmark로 수학적 추론의 강건성을 평가하는 연구들이 존재한다.
• Gap: 기존 강건성 연구는 대부분 비교적 단순한 벤치마크(GSM8K, MATH 수준)에 국한되고 자동 채점에 의존하며, 더 깊은 추론 깊이를 요구하는 단일 문제에 대해 인간 평가를 통해 강건성을 검증한 연구는 없었다. 또한 학습 데이터에 해답이 존재함에도 불구하고 LLM이 실패하는 사례(기존 연구의 반대 방향)를 다룬 연구도 부재했다.
• Why: 이 연구는 combinatorics가 아니면서 공개된 해답이 있고 IMO 수준의 sophistication을 가진 문제에서도 LLM들이 실패한다는 사실을 보여줌으로써, LLM의 수학적 추론 능력이 겉보기와 달리 spiky하고 근본적인 학습 방식의 한계를 시사한다는 점에서 중요하다.
• Approach: 300개 이상의 group theory 문제를 탐색하여 LLM들이 일관되게 실패하는 소수의 문제 중 가장 수학적으로 정교한 Yu Tsumura's 554th problem을 선별하고, 2025-2026년의 31개 LLM(commercial 및 open-source)에 대해 zero-shot 3회 반복 평가를 수행하며, 인간(전직 IMO 참가자)과의 비교 사례 연구 및 원본 증명의 오류를 수정한 새로운 증명을 제시한다.

Achievement

1. 진단적 문제 발굴: 300개 이상의 group theory 문제 중 IMO 수준의 증명 난이도를 가지면서도 어떤 최신 LLM도 안정적으로 풀지 못하는 유일한 문제(Yu Tsumura's 554th problem)를 식별했다.
2. 31개 LLM에 대한 광범위한 실증 분석: 91개의 전문가 평가 증명 시도를 통해 최상위 모델들과 그 계보(intermediate version 포함)를 추적하여 성능의 spiky한 양상을 입증했다.
3. 인간-LLM 비교 사례 연구: 그룹이론 사전지식이 없는 전직 IMO 참가자가 ChatGPT와의 상호작용만으로 문제를 해결함으로써, 문제의 난이도가 IMO 수준 인간에게는 도달 가능함을 보였다.
4. 수학적 부산물 - 원 증명의 오류 수정: LLM 출력과 기존 해답을 비교하는 과정에서 원본 공개 증명의 기술적 오류를 발견하고, conjugation 개념 없이도 성립하는 더 나은 동기 부여의 새로운 증명을 제시했다.

How

• 300개 이상의 group theory 문제 pool에서 여러 LLM에 걸쳐 일관되게 실패를 유발하는 문제들을 선별하는 discovery process를 수행.
• Yu Tsumura's 554th problem(xy²=y³x, yx²=x³y 관계를 갖는 생성자 x,y의 group G가 trivial임을 증명)을 최종 대상으로 선정.
• 2025-2026년 31개 최신 LLM(공개/비공개)에 대해 zero-shot 방식으로 각 3회(일부는 1회) 평가를 진행, 컨텍스트 오버플로우도 실패로 간주.
• 실패 유형을 분류(치명적 오류에 의존, argument incomplete 등)하고 첫 실행 결과와 시점을 기록.
• 그룹이론 지식이 없는 전직 IMO25 참가자를 대상으로 ChatGPT와의 상호작용만을 통해 문제를 풀도록 하는 n=1 human study 수행, 전체 transcript와 작성한 증명 공개.
• 원본 증명 검토를 통해 기술적 오류를 발견하고, Pólya(1949), Morris(2020)의 방법론을 참고하여 conjugation 없이도 성립하는 새로운 증명 제시.
• 모든 LLM 출력을 Markdown 형태로 GitHub에 공개.

Originality

• 대규모 benchmark dataset이 아닌 단일 문제에 초점을 맞추어, 여러 intermediate LLM 버전에 걸친 세밀한 easy-hard phenomenon을 추적한 최초의 접근.
• 자동 채점이 아닌 인간(전문가) 평가를 통해 깊은 추론이 필요한 단일 수학 문제의 강건성을 연구한 최초의 사례로 주장.
• 학습 데이터에 해답이 존재함에도 실패하는 역설적 현상을 명시적으로 조명, 기존 FrontierMath류 연구(해답이 없는데도 성공)와 대비되는 방향을 취함.
• benchmarking 활동이 단순 오류 정정을 넘어 실제 수학적 증명 개선(더 나은 동기 부여의 새 증명)으로 피드백된 드문 사례.

Limitation & Further Study

• 단일 문제(n=1 성격의 사례 연구)에 기반한 진단이므로 일반화 가능성에 한계가 있으며, 유사한 특성을 가진 다른 문제들에 대한 체계적 탐색이 추가로 필요하다.
• Human comparison 역시 n=1 case study로, 통계적 유의성이 부족하고 특정 개인의 능력에 의존한 결과일 수 있다.
• Zero-shot 평가 방식과 3회 반복이라는 제한된 시도 횟수가 LLM의 실제 능력을 과소평가할 가능성이 있으며(best-of-n, majority voting 등의 배제), 이는 저자들도 인정하지만 다른 실사용 시나리오와의 비교가 제한적이다.
• 왜 이 특정 문제가 LLM에게 특히 어려운지에 대한 근본 원인(training data 특성, symbolic manipulation 능력 부족 등)에 대한 심층적 분석이 부족하다.
• 향후 연구로 유사한 진단적 문제들을 체계적으로 발굴하고 분류하는 프레임워크 개발이 필요하다.

Evaluation

총평: 단일 사례 연구라는 한계는 있지만, LLM의 수학적 추론 능력에 대한 낙관론에 대해 설득력 있는 반증 사례를 제시하고 이를 인간 비교 및 수학적 기여로까지 확장한 흥미롭고 시의적절한 연구이다.