Solving Is Not Drawing: A Benchmark for Diagrammatic Reasoning in Olympiad Geometry

Motivation

• Known: GPT, Claude 등 foundation model들은 올림피아드 수준 수학 문제, 특히 기하 문제 풀이에서 뛰어난 성능을 보이며, MathVista, MathVerse, OlympiadBench, We-Math 등 다양한 벤치마크가 모델의 정답 도달 여부나 추론 과정을 측정해왔다.
• Gap: 기존 벤치마크들은 도형을 입력으로 소비하거나 부수적으로 취급할 뿐, 문제로부터 기하학적으로 일관되고 충실한 다이어그램 자체를 구성하는 능력(diagrammatic reasoning)을 별도로 측정한 사례가 없어, 모델이 정답을 맞히면서도 내적으로 모순되거나 불가능한 도형 표상을 가질 수 있는지 알 수 없다.
• Why: 기하 문제 해결과 시각화·작도는 밀접히 연결되어 있어, 추론은 맞지만 도형 생성이 부정확한 모델은 기하학적 작업을 신뢰성 있게 보조하거나 자기 검증, 하위 에이전트에 신뢰할 만한 도형을 제공하는 데 한계가 있으므로 이를 별도로 측정하는 것이 실용적으로 중요하다.
• Approach: Asymptote 코드 기반의 human-authored 정답 다이어그램을 갖춘 954개(hard subset 297개) 올림피아드 기하 문제 데이터셋을 구축하고, text-, code-, image-, VLM-, constraint-based 지표로 구성된 diagrammatic reasoning 평가 체계를 통해 최신 foundation model들의 풀이 정확도와 도형 충실도 간 격차를 실증적으로 측정한다.

Achievement

Figure 3. Change in each metric when the full reference solution is

1. 벤치마크 정의 및 표준화: diagrammatic reasoning을 문제 풀이와 구별되는 독립적 능력으로 정의하고 정형화했다.
2. 오픈소스 데이터셋 공개: 954개 올림피아드 기하 문제에 대해 전체 solution과 human-made Asymptote 코드 기반 고충실도 다이어그램(이미지+코드)을 함께 제공하고, 다양한 평가 지표 세트를 공개했다.
3. 모델 평가를 통한 격차 입증: Claude Sonnet 4.6, GPT-5.4-mini, Gemini 3.1 Flash-lite, Kimi K2.5 등 최신 모델을 벤치마킹하여, 평균 compile success rate 36.14%에 불과함을 보이며 강한 수학적 추론이 정확한 기하 도형 구성 능력을 함의하지 않음을 실증했다.

How

Figure 1. Overview of the Data Curation and Evaluation Processes. We web-scrape high-quality mathematical olympiad probl

• AMC, AIME, USAMO, USAJMO, IMO 등에서 1980년대부터 문제와 Art of Problem Solving 상의 온라인 solution을 웹스크래핑
• human-authored Asymptote 코드로 그려진 도형이 있는 solution만 ground truth로 채택
• GPT-5.4-mini를 이용해 (1) 기하 문제 여부, (2) self-contained 여부(입력 이미지에 의존하지 않고 문제 문장만으로 재현 가능한지), (3) 참조 solution 접근법 요약을 판정
• GPT-5.4-mini로 문제 난이도를 1~10점으로 평가해 7점 이상인 297개 문제를 hard subset으로 분리
• Asymptote 코드를 산출 형식으로 강제하여, 텍스트 모달리티 내에서 compass-and-straightedge 스타일의 정밀한 기하 구성이 가능하도록 설계
• text-, code-, image-, VLM-, constraint-based의 다중 지표(LPIPS, BLEU/chrF++/CodeBLEU 계열, VLM judge, compile success rate 등)로 다이어그램 충실도를 평가
• 참조 solution 전체를 제공한 상태에서 도형만 렌더링하도록 요구하는 실험도 수행하여 격차가 추론 부족이 아닌 작도 능력 자체의 한계임을 검증

Originality

• 문제 풀이(solving)와 도형 작도(drawing)를 분리된 능력으로 명시적으로 정의하고 이를 diagrammatic reasoning이라는 개념으로 정형화한 최초의 시도
• 기존 GeoQA, Geometry3K, MathVista, MathVerse, We-Math 등이 답 정확도나 추론 과정에 집중한 것과 달리, human-authored Asymptote ground truth 도형과 비교 가능한 코드 기반 벤치마크를 구축
• text/code/image/VLM/constraint 기반의 다중 관점 평가 지표 스위트를 통합 제안
• 참조 solution을 완전히 제공해도 도형 충실도 격차가 유지됨을 보임으로써, 문제가 텍스트 추론 실패가 아닌 기하학적 제약 표상/작도 능력 자체의 결함임을 규명

Limitation & Further Study

• 난이도 판정과 self-containment, 기하 여부 판정을 GPT-5.4-mini라는 단일 모델의 판단에 의존하여 curation 과정 자체에 편향이 존재할 수 있음
• 평가 대상 모델이 최근 소수의 foundation model(Claude Sonnet 4.6, Gemini 3.1 Flash-lite, GPT-5.4-mini, Kimi K2.5 등)에 한정되어 일반화 가능성이 제한적일 수 있음
• Asymptote 코드 기반 평가로 한정되어 있어, 실제 모델의 시각적 다이어그램 생성(이미지 직접 생성) 능력과의 관계는 별도로 다루지 않음
• compile success rate가 낮은 근본 원인(문법 오류 대 기하학적 제약 오표상)에 대한 세밀한 오류 분석이 본문 발췌에서는 제한적으로 보임
• 후속 연구로는 더 다양한 모델·다른 다이어그램 언어(GeoGebra 등)로의 확장, 그리고 fine-tuning이나 constraint solver 결합을 통한 개선 방안 탐색이 필요해 보임

Evaluation

총평: 문제 풀이와 도형 작도 능력을 분리해 측정한다는 아이디어는 참신하고 실용적으로 중요한 문제를 겨냥하며, 954개 규모의 human-authored ground truth 도형 데이터셋과 다중 지표 평가 체계라는 구체적 기여도 뚜렷하다. 다만 curation 파이프라인이 단일 LLM 판정에 크게 의존하고 평가 모델 수가 제한적이라는 점에서 후속 검증과 확장이 필요하다.