ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark

Motivation

• Known: GSM8K, MATH 같은 기존 벤치마크는 pre-university 수준 문제로 이미 saturated 되었고, multiple-choice나 word-problem 형태는 text-to-math 변환과 symbolic manipulation을 뒤섞어 순수 symbolic 능력 평가를 어렵게 만든다. FrontierMath, Humanity's Last Exam 등 최근 벤치마크는 여러 스킬을 동시에 요구해 특정 능력에 대한 결론 도출을 방해하며, GSM-Symbolic 같은 perturbation 연구는 주로 textual phrasing 변화에 초점을 맞춘다.
• Gap: 기존 벤치마크들은 university-level symbolic math에 대한 순수하고 세밀한 통계적 평가가 부족하며, LLM이 실제 수학적 이해로 문제를 푸는지 아니면 고도화된 pattern recognition으로 푸는지를 구분할 체계적 perturbation 기반 데이터셋이 부재하다.
• Why: LLM을 과학적 발견에 신뢰성 있게 활용하려면 symbolic math에서의 진짜 일반화 능력과 robustness를 정밀하게 측정할 수 있는 도구가 필수적이며, ASyMOB은 이를 위한 원칙적 진단 프레임워크를 제공해 CAS와 LLM의 상호보완적 통합 가능성까지 조명한다.
• Approach: 100개의 university-level seed symbolic math 문제에 symbolic, numeric, equivalence-preserving perturbation을 수동 및 알고리즘적으로 적용하여 35,368개의 문제를 생성하고, code 사용 여부를 포함한 다양한 open/closed-weight LLM을 평가해 성능 저하 패턴과 CAS-LLM 하이브리드 접근의 가능성을 분석한다.

Achievement

Figure 2. Degradation of success rate relative to seed-set performance. Both code-integrated models (left) and non-code

1. 대규모 고해상도 데이터셋 구축: Integrals, Differential Equations, Series, Limits, Hypergeometric Functions 5개 카테고리에 걸쳐 100개 seed 문제로부터 35,368개의 검증된 symbolic math 문제를 생성했다.
2. Robustness의 regime shift 발견: 대부분 모델은 사소한 perturbation에도 성능이 붕괴하지만, 최상위 시스템은 이러한 붕괴에 대해 뚜렷한 저항성(regime shift)을 보였다(unperturbed 74.6% → 전체 46.8%).
3. Code tool의 효과 규명: code 실행 도구 통합이 약한 모델의 성능을 안정화시키지만, 이미 강력한 모델에는 별다른 영향을 주지 않음을 확인했다.
4. CAS-LLM 상호보완성 규명: Mathematica, WolframAlpha, SymPy 같은 CAS가 실패하지만 LLM이 성공하는 사례, 그리고 CAS와 LLM 단독으로는 실패하나 하이브리드 접근으로만 풀리는 문제를 제시했다.

How

Figure 2. Degradation of success rate relative to seed-set performance. Both code-integrated models (left) and non-code

• university-level 벤치마크와 수학 올림피아드에서 55개, 미비 카테고리 보완을 위해 45개를 직접 제작해 총 100개의 순수 symbolic seed question을 큐레이션함
• 각 seed 문제에 2-5개의 symbolic parameter를 수동으로 도입하고, 이후 알고리즘적 변환으로 numeric-all, numeric-one, symbolic, equivalence-preserving 등 다양한 perturbation 변형을 대량 생성함
• perturbation 강도를 점진적으로 조절(digit 수, symbol 수 등)해 난이도 단계를 세분화함으로써 성능 저하를 정밀하게 측정할 수 있도록 설계함
• open-weight 및 closed-weight LLM(o4-mini, Gemini 2.5 Flash, GPT-4.1, GPT-4o, DeepSeek 계열, Qwen2.5, Llama 4 Scout 등)을 code 사용/미사용 조건으로 나누어 평가함
• Mathematica, WolframAlpha, SymPy 등 CAS와 LLM의 성능을 비교하고 하이브리드 LLM-CAS 접근이 필요한 사례를 별도로 분석함
• 데이터셋을 재생성 가능하도록 설계하여 benchmark hacking, data leakage, memorization에 대한 내성을 확보함

Originality

• word-problem이나 textual phrasing 변화가 아닌 순수 symbolic mathematical structure에 대한 체계적 perturbation(‘Symbolic’, ‘Equivalence’ 카테고리)을 도입한 최초의 시도
• university-level symbolic math에 초점을 맞춰 기존 GSM8K/MATH 기반 school-level 벤치마크와 차별화됨
• 재생성 가능한 데이터셋 설계를 통해 contamination과 memorization 문제에 근본적으로 대응하는 방법론적 기여
• CAS와 LLM의 상호보완적 실패/성공 사례를 발굴하여 hybrid LLM-CAS 통합의 실증적 근거를 최초로 제시

Limitation & Further Study

• seed 문제가 100개로 상대적으로 제한적이며 특정 5개 카테고리에 국한되어 더 넓은 수학 분야(대수, 기하 등)로의 일반화는 확인되지 않음
• perturbation 생성 과정에서 일부 수동 개입이 포함되어 완전 자동화된 확장에는 한계가 있을 수 있음
• 평가된 모델들이 빠르게 발전하는 LLM 생태계에서 시간이 지나면 결과의 시의성이 떨어질 위험이 있음
• 후속 연구로 CAS-LLM 하이브리드 통합 방법론을 정식화하고, 더 다양한 수학 분야와 고차원 문제로 벤치마크를 확장하는 작업이 필요함

Evaluation

총평: 순수 symbolic mathematics에 특화된 체계적 perturbation 기반의 대규모 고해상도 벤치마크로서, LLM의 진짜 수학적 추론과 pattern memorization을 구분하는 데 실질적으로 기여하는 견고한 연구이다. CAS-LLM 하이브리드 가능성을 실증적으로 보여준 점도 향후 연구 방향에 유의미한 시사점을 제공한다.