Measuring Representation Robustness in Large Language Models for Geometry

Motivation

• Known: LLM은 GSM8K, MATH 등 수학 reasoning benchmark에서 높은 aggregate accuracy를 보이며, chain-of-thought 등 prompting 기법으로 성능이 향상됨이 알려져 있다. 또한 paraphrasing이나 adversarial perturbation에 대한 민감성도 보고되어 왔다.
• Gap: 기존 geometry benchmark는 문제를 단일 canonical form(고정된 format)으로만 평가하여 representation choice 자체가 유발하는 실패를 aggregate accuracy 뒤에 숨겨왔고, 동일 문제의 병렬 표현(Euclidean/coordinate/vector)에 대한 problem-level invariance를 측정하는 연구가 부재했다.
• Why: 기하 문제는 표현 방식이 달라도 수학적 내용이 동일하므로, 표현에 따른 성능 변동은 모델이 추상적 구조를 추론하는지 표면적 단서(surface cue)에 의존하는지를 드러내는 중요한 진단 도구이며, 교육 및 과학적 문제해결에서 LLM의 신뢰성 있는 사용을 위해 필수적이다.
• Approach: Euclidean, coordinate, vector 세 형식으로 병렬 생성된 158개 핵심 문제(474 instance)에 대해 strict answer matching, bootstrap confidence interval, paired McNemar test, representation-flip 분석, surface complexity 회귀 통제를 결합한 representation-aware 평가 프레임워크를 구축하고, convert-then-solve prompting 개입 효과를 검증한다.

Achievement

1. GeoRepEval 프레임워크 제안: Invariance@3과 Consistency@3을 표준 accuracy와 수학적으로 연결하는 Property 1-3을 증명하여 통계적으로 근거 있는 representation-aware 평가체계를 구축했다.
2. 병렬 벤치마크 구축: NCERT, RD Sharma, RS Aggarwal 등 표준 교과서에서 추출한 158개 핵심 문제를 Euclidean/coordinate/vector 세 형태로 의미적 동등성을 검증하여 474 instance로 구성했다.
3. 표현 편향에 따른 유의미한 성능 격차 발견: Euclidean-Vector 간 최대 14 pp accuracy 격차, Invariance@3이 GPT-OSS-20B를 제외한 모든 모델에서 0.47 이하(LLaMA-3.1-8B는 0.044)로 나타났으며, surface complexity 통제 이후에도 11개 모델 중 8개에서 유의성이 유지되었다.
4. Vector 표현이 지배적 실패 지점임을 규명: CCW 패턴(Euclidean·Coordinate 정답, Vector 오답)이 WCC 패턴보다 2-5배 더 빈번하여, 모델이 Euclidean reasoning template은 유창하게 적용하지만 vector 절차는 취약함을 보였다.
5. Convert-then-solve prompting 개입 효과 검증: 고성능 모델에서는 vector accuracy가 최대 52 pp 개선되어 표현 민감성 문제임을 시사했으나, 저성능 모델에서는 개선이 없어 더 근본적인 한계가 있음을 발견했다.

How

• 4단계 데이터 구축 파이프라인(Source Selection → Category Balancing → Parallel Generation → Problem Filtering)을 통해 표준 교과서 기반 158개 문제를 4개 카테고리(길이/거리, 넓이/부피, 비율, 각도/방향)로 균형 있게 구성
• Gemini Pro를 활용해 각 문제를 Euclidean, Coordinate, Vector 세 가지 형태로 생성한 뒤 수학 전문가 패널이 수동 검증
• 11개 LLM(7B-20B 및 proprietary 포함)에 대해 각 표현별로 controlled inference를 수행하고 normalize 후 정답과 strict matching으로 correctness indicator c^r_i 산출
• Invariance@3(세 표현 모두 정답인 문제 비율), Consistency@3(세 표현에서 동일 출력을 낸 문제 비율)을 정의하고 이를 accuracy와 연결하는 수학적 성질을 증명
• bootstrap confidence interval, paired McNemar test, representation-flip 분석(CCW/WCC 등 패턴), token length·symbolic density를 통제 변수로 한 회귀분석 수행
• convert-then-solve(CTS) prompting 전략을 도입해 vector 문제를 다른 표현으로 변환 후 풀도록 하는 개입 실험 수행

Originality

• 기존 연구가 단일 canonical form에서의 aggregate accuracy에 초점을 맞춘 것과 달리, 동일 문제의 병렬 표현(Euclidean/coordinate/vector)을 problem-level로 정렬하여 평가하는 새로운 패러다임을 제시
• Invariance@3, Consistency@3이라는 새 지표를 도입하고 이를 표준 accuracy와 연결하는 형식적 성질(Property 1-3)을 증명하여 지표의 이론적 근거를 마련
• representation-flip 분석(CCW vs WCC 패턴)을 통해 실패의 방향성(어떤 표현에서 실패가 집중되는지)을 세밀하게 규명하는 분석 기법 도입
• convert-then-solve라는 실용적 prompting 개입을 통해 실패 원인이 무능력이 아닌 표현 민감성임을 인과적으로 검증하려는 시도

Limitation & Further Study

• 데이터셋이 인도 고등학교/준학사 교과서(NCERT, RD Sharma, RS Aggarwal) 기반 158개 문제로 규모가 제한적이며, 문제 난이도나 문화적 편향이 다른 지역의 교육과정에 일반화되기 어려울 수 있음
• 병렬 표현 생성에 Gemini Pro를 사용하고 전문가 패널이 검증했다고는 하나, 자동 생성 과정에서 은연중에 특정 표현 형식에 편향된 phrasing이 발생했을 가능성을 완전히 배제하기 어려움
• strict answer matching 기반의 correctness 판정은 부분 점수나 추론 과정의 질적 차이를 반영하지 못해, 모델의 실제 이해 수준을 과소/과대평가할 위험이 있음
• convert-then-solve 개입이 왜 저용량 모델에서는 효과가 없는지에 대한 심층적 원인 분석(예: attention 패턴, 내부 표현 분석)이 부족하여 후속 연구로 남겨짐
• 기하 영역에 한정된 연구로, 대수·확률 등 다른 수학 분야로의 일반화 가능성 검증이 필요함

Evaluation

총평: 표현 방식에 따른 LLM의 기하 reasoning 취약성을 체계적이고 통계적으로 엄밀하게 드러낸 의미 있는 연구로, aggregate accuracy 중심의 기존 평가 관행에 중요한 경종을 울린다. 다만 데이터셋 규모와 문화적 범위, 그리고 저용량 모델의 실패 원인에 대한 심층 분석이 보완된다면 더욱 완성도 높은 벤치마크로 발전할 수 있을 것이다.