InvariantBench: Can Large Language Models Exhibit Inherent Reasoning Across Equivalent Transformations?

Essence

Figure 1. Overview of INVARIANTBENCH. The benchmark evaluates invariance in reasoning by comparing model performance acr

LLM이 진짜 의미 기반 추론을 하는지 검증하기 위해, 동일한 문제를 의미보존 변환(semantics-preserving transformation)으로 재표현한 InvariantBench를 제안하고, 15개 최신 LLM이 정답률은 높아도 표현 형태가 바뀌면 예측이 일관되지 않는 "invariance gap"을 보임을 실증한다.

Motivation

Known: 기존 벤치마크(GSM8K, MATH, BIG-BENCH HARD, MMLU 등)는 고정된 문제 인스턴스에 대한 정답률(accuracy)만을 측정하며, LLM이 이러한 벤치마크에서 높은 점수를 획득할수록 emergent reasoning의 증거로 해석되는 경우가 많다.
Gap: 고정 인스턴스 기반 평가는 표면형 패턴 매칭과 실제 semantics 기반 추론을 구분하지 못하며, 의미를 보존하는 변형(paraphrase, 변수 재명명, 전제 재배열 등) 하에서도 모델 예측이 일관되게 유지되는지를 측정하는 통합적·다축(multi-axis) 프레임워크가 부재하다.
Why: accuracy만으로는 데이터 오염(contamination)이나 표면형 암기 여부를 걸러낼 수 없기 때문에, invariance는 추론 능력을 측정하는 데 있어 오염에 강건하고(contamination-robust) 필수적인 평가 축(axis)이 된다. 이는 LLM의 실제 이해 능력에 대한 과대평가를 교정하는 데 중요하다.
Approach: 각 seed 문제에 대해 semantic-preservation contract를 만족하는 12개 invariance axis 기반의 변환을 적용하여 4개의 동등한 변형(variant)을 생성하고, 정답률뿐 아니라 변형 간 예측 일관성(consistency)을 함께 측정하는 벤치마크를 구축한다.

Achievement

Figure 2. Two representative examples from INVARIANTBENCH.

InvariantBench 구축: 1,200개 seed 문제 × 4개 invariant form으로 구성된 4,800개 평가 항목을 만들었으며, 3개 reasoning family(Formal Logic and Discrete Structure, Quantitative Reasoning and Optimization, Relational/Planning/Algorithmic/Semantic Reasoning), 16개 세부 task, 12개 fine-grained invariance axis를 포괄한다.
표현적 불변성(representational invariance)의 형식적 정의: surface form과 semantics를 구분하는 형식적 프레임워크와, 모든 변환이 만족해야 하는 semantic-preservation contract를 제시했다.
대규모 실증 분석: 15개 frontier 및 open-weight LLM을 대상으로 실험한 결과, 강한 모델에서도 1-5%의 accuracy 하락과 대부분 모델에서 5% 미만의 full-consistency rate를 발견했으며, 이는 최상위 시스템(>48%)과 인간(>98%)에 크게 못 미친다.
실패 원인 분석 및 개입 실험: 8가지 failure mode(premise-comprehension, symbolic/logical translation, computation, multi-step reasoning, invariance brittleness, lexical/semantic selection, format compliance, generation pathology)를 정의하고, SFT는 암기(memorization)를 유발하는 반면 GRPO는 invariance gap을 완전히 해소하지 못해도 cross-form generalization을 향상시킴을 보였다.

How

Figure 3. Learning dynamics (60% test-set accuracy) under

Reasoning 문제를 (P, a*) 쌍으로 정의하고, surface form s와 semantics [[·]]를 구분하는 형식적 표기를 도입, transformation τ가 [[τ(s)]] = [[s]]를 만족하면 semantics-preserving으로 정의
12개 invariance axis를 3개 family로 분류: symbolic & linguistic(변수 재명명, entity relabeling, style/register 변화, synonym/paraphrase), structural & representational(전제 재배열, 중복 진술, distractor 삽입/제거, 논리적/수학적 등가 재구성, representation/encoding 교체), abstraction & information-structure(추상화 수준 변화, perspective/role reframing)
각 seed 문제에 4개의 invariant variant를 생성하여 모델의 예측 M(s0), M(s1), ..., M(sK)을 비교, accuracy fragility(원본은 맞지만 변형에서는 틀림)와 inconsistency(변형 간 예측 불일치)를 별도로 측정
LLM-judged rubric을 사용해 verifiable solution 기반으로 multiple-choice 및 open-ended 형식 모두 평가
15개 frontier/open-weight LLM에 대해 accuracy와 full-consistency rate를 측정하고, 8가지 failure mode로 오류를 분류
SFT와 GRPO를 적용한 diagnostic intervention 실험으로 학습 방식이 invariance gap에 미치는 영향 분석

Originality

기존의 정확도(accuracy) 중심 평가에서 벗어나, "representational invariance"를 추론 평가의 필수 축(necessary axis)으로 형식화하여 제시한 최초의 통합 다축(multi-axis) 프레임워크
12개의 세분화된 invariance axis를 체계적으로 분류하고 semantic-preservation contract라는 엄격한 보존 조건을 명시적으로 정의
accuracy fragility와 inconsistency를 분리하여 측정함으로써, 정답률만으로는 드러나지 않는 모델의 표면형 의존성을 정량화
8가지 failure mode를 통해 오류를 perception, transformation, composition 단계로 국지화(localize)하는 진단적 분석 체계 제시
데이터 오염에 대한 강건성(robustness to contamination)을 invariance gap의 이론적 장점으로 명시적으로 논증

Limitation & Further Study

LLM-judged rubric을 평가에 사용하는데, judge 모델 자체의 편향이나 오류가 결과에 영향을 줄 수 있어 judge의 신뢰성에 대한 별도 검증이 필요함
12개 invariance axis가 포괄적이라 하더라도 여전히 인위적으로 설계된 변환 세트이며, 실제 자연 발생적 표현 다양성을 완전히 대표하지 못할 가능성이 있음
저자들이 대부분 소속 기관이 유사한 협업 그룹으로, 벤치마크 설계 및 annotation 과정의 다양성/편향 검증이 제한적일 수 있음
후속 연구로는 invariance gap을 실제로 좁히는 학습 방법론(GRPO 이상의 방법)의 개발과, 더 다양한 도메인(코드, 멀티모달 등)으로의 확장이 필요함

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 추론 평가에서 흔히 간과되던 표현적 불변성(representational invariance)을 정식화하고 대규모 벤치마크로 구체화한 점에서 의미 있는 기여이며, 높은 accuracy가 실제 추론 능력을 과대평가할 수 있다는 경고를 실증적으로 뒷받침한다. 다만 judge 기반 평가와 변환 설계의 인위성에 대한 추가 검증이 향후 신뢰성 확보에 중요할 것이다.

같이 보면 좋은 논문

A survey of reasoning with foundation models

기반 연구SPECTER2 유사도 0.93로 LLM Reasoning and Safety Benchmarks와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'A survey of reasoning with foundation models'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Towards reasoning era: A survey of long chain-of-thought for reasoning large language models

기반 연구SPECTER2 유사도 0.93로 LLM Reasoning and Safety Benchmarks와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'Towards reasoning era: A survey of long chain-of-thought for reasoning large language models'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Truly assessing fluid intelligence of large language models through dynamic reasoning evaluation

기반 연구SPECTER2 유사도 0.93로 LLM Reasoning and Safety Benchmarks와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'Truly assessing fluid intelligence of large language models through dynamic reasoning evaluation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

GENEB: Why Genomic Models Are Hard to Compare

기반 연구의미보존 변환 기반 평가 방법론의 이론적 기초를 제공한다.

Learning-Guided Flip-Graph Search for Low-Rank Polynomial Multiplication

기반 연구학습 기반 탐색을 수학적 구조 발견에 적용한 유사 연구이다.

LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics

기반 연구LLM의 수학적 추론 능력 평가에 적용된 유사 벤치마크이다.

후속 연구표현 형태 변화에 따른 LLM 예측 일관성 평가를 확장한다.

Measuring Representation Robustness in Large Language Models for Geometry

다른 접근동일한 문제를 다른 표현으로 재구성해 모델의 강건성을 측정하는 접근이 유사하다.

When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer

다른 접근LLM의 진짜 추론 능력을 검증하는 다른 벤치마크 접근을 제시한다.

HypoSpace: A Diagnostic Benchmark for Set-Valued Hypothesis Generation under Underdetermination and Sublinear Coverage Bounds