Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning

Motivation

• Known: RLVR(reinforcement learning with verifiable rewards)로 post-training을 진행하면 정책의 생성 다양성이 감소한다는 것이 알려져 있으며, 이를 완화하기 위해 lexical overlap, embedding distance, unique equation ratio 등의 surface-level 지표를 활용한 diversity-aware RLVR 방법들이 제안되어 왔다.
• Gap: 기존 diversity 지표들은 solution의 관찰 가능한 형태(단어, 표기법, 서술 방식)의 차이만을 포착할 뿐, 동일 문제에 대해 실제로 다른 풀이 전략(strategy)을 사용했는지는 검증되지 않았으며, 이러한 지표들이 human judgment와 정합하는지도 확인된 바 없다.
• Why: test-time scaling(verifier 기반 선택, multi-agent collaboration 등)의 성능은 후보 해답들의 실질적인 전략 다양성에 좌우되므로, surface-level 지표만으로 다양성을 측정·최적화하면 실제로는 좁아진 전략 집합 안에서 표현만 다양해지는 착시가 발생해 exploration 효과를 제대로 얻지 못할 위험이 있다.
• Approach: 저자들은 mathematical tools, structural definitions, representational viewpoint라는 세 차원을 기준으로 approach-level diversity를 정의하고, human-calibrated LLM judge 프레임워크를 구축하여 N-gram, Self-BLEU, cosine distance, Distinct-Equations, RPD 등 기존 지표들이 이 정의와 얼마나 정합하는지, 그리고 diversity-aware RLVR 훈련 및 test-time scaling에서 어떤 함의를 갖는지 실증적으로 분석한다.

Achievement

Figure 4. Analysis of DIVER. DIVER preserves its target TD and ED metrics, but the recovered diversity mostly reflects w

1. approach-level diversity 개념 정립: 수학적 도구, 구조적 정의, 표현적 관점의 세 차원에서 서로 다른 approach를 정의하고, 이를 surface-level diversity와 명확히 구분하는 최초의 정의를 제시했다.
2. human-calibrated LLM judge 프레임워크 구축: 인간 라벨과 정합하는 LLM judge를 통해 기존 5가지 대표 다양성 지표(N-gram, Self-BLEU, Cosine, Distinct-EQ, RPD)가 approach-level diversity를 안정적으로 예측하지 못함을 실증했다.
3. diversity-aware RLVR의 허상 발견: DIVER 등 diversity-aware 훈련 기법이 목표로 하는 surface-level 지표(TD, ED)는 보존하지만, 실제 approach-level diversity는 오히려 감소함을 보여, 기존 훈련 방법의 근본적 한계를 드러냈다.
4. test-time scaling에서의 실효성 검증: approach가 서로 다른 후보 집합을 구성했을 때 test-time scaling 성능이 유의미하게 향상됨을 보여, approach-level diversity가 실질적 효용을 가진다는 것을 입증했다.
5. 직접 최적화의 한계 규명: LLM judge의 approach-diversity 신호를 훈련 보상으로 직접 최적화하면 정책이 judge의 편향을 exploit하여 실제 전략 다양성 대신 judge를 속이는 방향으로 학습됨을 발견, 향후 robust한 훈련 호환 지표 개발의 필요성을 제기했다.

How

Figure 3. Set-level concordance (Cset) at subset size k = 4 across solver models. Bars show mean concordance with 95% co

• Approach-level diversity를 mathematical tools, structural definitions, representational viewpoint의 3가지 발산 차원으로 정의
• 인간 라벨(human reference labels)을 수집해 LLM judge를 calibration하고, 이를 approach-diversity 평가의 gold-standard 대리 지표로 사용
• N-gram, Self-BLEU(lexical), Cosine distance over Qwen3-Embedding-8B(semantic), Distinct-Equations(symbolic), RPD(reasoning-path decomposition) 등 5개 기존 지표를 taxonomy로 정리 후 human/judge 라벨과의 정합성(concordance, 예: Cset) 분석
• diversity-aware RLVR 방법(DIVER 등)이 최적화하는 target metric(TD, ED)과 approach-level diversity 간의 궤적을 훈련 과정에서 추적
• approach가 통제된(approach-controlled) 후보 집합을 구성해 test-time scaling 실험을 수행
• LLM judge의 diversity 신호를 직접 RL 보상으로 사용해 policy를 훈련시키고, reward hacking 여부를 분석

Originality

• surface-level과 approach-level diversity를 명시적으로 구분하고 approach-level diversity라는 새로운 개념적 축을 최초로 정식화
• 수학 추론 도메인에서 diversity 지표의 human-alignment를 정량적으로 검증한 최초 시도 중 하나
• diversity-aware RLVR의 "목표 지표 보존 = 실질적 다양성 보존"이라는 암묵적 가정을 실증적으로 반박
• 다양성을 측정(evaluation)하는 것과 훈련 보상으로 최적화(optimization)하는 것 사이의 간극을 명시적으로 제기하며 reward hacking 현상을 규명

Limitation & Further Study

• LLM judge 자체가 완전히 human judgment를 대체할 수 있는지에 대한 근본적 한계가 존재하며, judge의 편향이 여전히 평가 결과에 영향을 줄 수 있음
• approach-level diversity를 직접 훈련 보상으로 최적화하는 문제는 여전히 open problem으로 남겨져 있어 실질적 해법은 제시되지 못함
• 세 가지 approach 발산 차원(수학적 도구, 구조적 정의, 표현적 관점)의 경계가 다소 주관적일 수 있어 다른 도메인(비수학적 추론)으로의 일반화 가능성 검증이 필요
• 후속 연구로 judge-robust하고 훈련에 안전하게 통합 가능한 approach-level diversity 보상 설계가 요구됨

Evaluation

총평: 기존 다양성 지표와 diversity-aware RLVR이 실제로는 표현의 다양성만을 측정·강화할 뿐 전략적 다양성을 포착하지 못함을 체계적으로 드러낸, 개념적으로 참신하고 실용적 함의가 큰 연구이다. 다만 approach-level diversity를 직접 최적화하는 방법은 아직 미해결로 남아 있어 후속 연구의 여지가 크다.