SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics

Motivation

• Known: 수학적 추론을 돕는 agentic AI 시스템은 문제 데이터베이스, 정리 라이브러리, 교육 자료를 검색하는 IR에 크게 의존하며, formal theorem proving에서의 premise selection부터 informal problem solving에서의 유사 문제 검색까지 다양한 형태로 활용되고 있다.
• Gap: 기존 수학 IR 벤치마크는 전문가 주석에 의존해 비용이 크고 확장성이 떨어지며, relevance 정의가 협소하고 저해상도 라벨을 사용해 실제로 유용한 검색 결과를 부당하게 낮게 평가하는 문제가 있다.
• Why: retriever 선택이 downstream 수학 추론 성능에 미치는 영향을 직접 분리해 측정하기 어려운 상황에서, MTEB와 같은 범용 IR 벤치마크가 수학 도메인 성능을 신뢰성 있게 예측하지 못한다는 점을 보임으로써 수학 특화 IR 평가의 필요성을 입증한다는 점에서 중요하다.
• Approach: LLM을 활용해 문제-풀이로부터 solution summary와 mathematical topic을 추출하고, 이를 기반으로 topic 및 lexical 유사도로 후보 문서를 발굴한 뒤, Swiss-style LLM preference tournament와 Bradley-Terry model로 fine-grained relevance rating을 자동 생성한다.

Achievement

Figure 2. Distribution of retriever preferences for mathematical vs.

1. 완전 자동화 벤치마크 구축: 전문가 주석 없이 283K 문제-풀이 코퍼스로부터 1000개 query problem과 각 150개 후보 문서로 구성된 fine-grained mathematical IR reranking 벤치마크를 구축했다.
2. 광범위한 retriever 평가: BM25, TF-IDF 같은 lexical retriever, Approach Zero 같은 수학 특화 검색 시스템, 그리고 Octen, Gemini-Embedding-2 등 최신 embedding model까지 폭넓게 평가하여 최신 embedding model이 전통적/수학 특화 baseline을 크게 능가함을 확인했다.
3. 도메인별 취약점 발견: 최고 성능 시스템조차 Algebra, Calculus 같은 symbol-heavy 도메인에서 어려움을 겪는다는 점과, 약한 retriever일수록 수식·기호에 과도하게 의존하며 의미를 포착하지 못한다는 counterfactual 분석 결과를 제시했다.
4. MTEB의 한계 입증: 범용 IR 벤치마크인 MTEB 성능이 특히 최신 embedding model에서 수학적 IR 성능을 신뢰성 있게 예측하지 못함을 보여, 수학 특화 벤치마크의 필요성을 실증했다.

How

Figure 4. Cumulative rank distribution of candidates selected by

• 283K 고등학교/올림피아드 수준 문제-풀이 코퍼스에서 시작하여 LLM으로 각 문제의 concise solution summary와 mathematical topic(ontology 기반)을 추출.
• topic overlap(ontology 기반)과 solution-summary lexical overlap이라는 두 가지 상보적 relevance signal로 query당 150개의 후보 relevant document를 discovery(exhaustive all-pairs 비교 회피).
• Algebra, Geometry, Number Theory, Combinatorics, Calculus 도메인에 걸쳐 1000개의 query problem 선정, 각 relevance signal에서 균등 배분.
• 20-round Swiss-style tournament를 통해 LLM-as-a-judge가 후보 쌍별 pairwise preference judgment 수행, 유사 추정 relevance를 가진 후보끼리 우선 비교하여 확장성 확보.
• Bradley-Terry model로 pairwise preference를 집계해 연속적(fine-grained) relevance score를 ground-truth rating으로 산출.
• 평가 대상: sparse lexical retriever(BM25, TF-IDF), 수학 특화 프레임워크(Approach Zero), 초기 pretrained encoder부터 최신 SOTA embedding model(Octen, Gemini-Embedding-2 등)까지 포함.
• 수식·기호 의존도를 측정하기 위한 counterfactual 분석 수행.

Originality

• 전문가 주석 없이 완전 자동화된 최초의 수학 특화 IR 벤치마크 구축 방식 제안.
• ontology topic 기반 신호와 solution-summary lexical 신호라는 두 가지 상보적 방식을 결합해 희소한 relevant problem pair를 확장 가능하게 발굴.
• Swiss-style tournament와 Bradley-Terry model을 결합해 exhaustive all-pairs 비교 없이도 fine-grained continuous relevance label을 효율적으로 생성하는 방법론적 novelty.
• 범용 IR 벤치마크(MTEB)와 수학 특화 성능 간의 괴리를 실증적으로 드러내고, 기호 의존도에 대한 counterfactual 분석을 통해 실패 모드를 규명.

Limitation & Further Study

• relevance label이 LLM judge에 전적으로 의존하므로, LLM 자체의 편향이나 오류(예: 특정 표현 스타일 선호)가 ground-truth에 반영될 위험이 존재하며 이에 대한 검증(예: 인간 평가와의 상관 분석)이 제한적일 수 있음.
• 코퍼스가 고등학교 및 올림피아드 수준 문제에 국한되어 있어, 대학 수준 이상의 고등 수학이나 formal theorem proving 환경으로의 일반화 가능성은 추가 검증이 필요.
• topic ontology와 solution-summary 기반 후보 discovery 단계 자체가 이미 특정 형태의 relevance 개념을 전제하므로, 이 단계에서 놓친 relevant document 유형이 있을 가능성.
• 후속 연구로 실제 agentic reasoning 파이프라인에서의 downstream 성능과 SABER-MATH 벤치마크 점수 간의 상관관계를 직접 검증하는 연구가 필요.

Evaluation

총평: 전문가 주석 없이 fine-grained 수학 IR 평가를 가능케 하는 확장 가능한 자동화 파이프라인을 제안하고, 이를 통해 기존 범용 벤치마크의 한계를 실증적으로 보여준 견실한 연구로, 수학 특화 검색 시스템 개발에 실질적 기여를 할 것으로 기대된다.