Hard or Just Unreached? Diagnosing the Sampling Blind Spot in Math-Reasoning Difficulty Estimation

Motivation

• Known: pass@k는 RL with verifiable rewards, math data curation, synthetic curricula, verifier training 등에서 예제별 난이도를 정의하는 표준 신호로 사용되며, k개의 sampled chain 중 하나도 gold에 도달하지 못하면 해당 예제는 hard로 필터링되거나 downweight된다.
• Gap: 기존 연구는 pass@k=0 stratum을 intrinsically hard로 간주하지만, 이 신호가 temperature sampling이라는 단일 축(stochastic axis)에서만 다양성을 확보하기 때문에 실제로는 모델이 도달 가능하지만 단지 sampling 방식으로는 도달하지 못한(unreached) 경우와 구분하지 못하는 구조적 blind spot이 존재하는지는 검증되지 않았다.
• Why: 수학/과학 reasoning benchmark의 난이도 라벨링, RL 데이터 큐레이션, 커리큘럼 구성, verifier/reward model 학습 등 다수의 파이프라인이 pass@k=0을 hard로 취급해 필터링하거나 negative로만 사용하는데, 이 라벨이 실제로는 모델의 능력이 아니라 decoding regime의 인공물(artifact)일 수 있다면 이러한 파이프라인 전반의 데이터 품질과 난이도 보정에 구조적 오류가 발생할 수 있다.
• Approach: 네 개의 open-weight instruction-tuned 모델(Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B)과 GSM8K, MATH, MMLU-Pro 벤치마크에서, sampling으로 6번 시도해도 못 푸는 pass@k=0 stratum을 분리한 뒤, activation grafting(마지막 prompt-token hidden state를 synthetic vector로 대체)을 이용한 5가지 residual-stream perturbation과 greedy decoding을 결합한 6-chain deterministic regime이 같은 compute 예산에서 이 stratum을 얼마나 회복하는지 측정한다.

Achievement

1. Greedy가 단일 샘플 대비 경쟁력 있음: greedy decoding이 mean single-sample accuracy와 동등하거나 최대 2.8% 더 우수하여, self-consistency의 기본 baseline인 단일 sample보다 deterministic 대안이 이미 더 강력함을 보였다.
2. Sampling의 지속적인 blind spot 확인: k=6 기준 pass@k=0 stratum이 GSM8K에서 5.1-8.3%, MATH에서 28.7-43.5%로 크게 나타나며, marginal-shrink rate가 단조 감소해 이 stratum이 k가 작아서 생긴 artifact가 아님을 확인했다.
3. Deterministic regime의 회복률 입증: 6-chain deterministic regime(greedy + 5 grafts)이 8개의 free-form math cell에서 pass@6=0 slice의 10.3-22.9%를 회복했으며(12개 cell 전체로는 10-29%), greedy 단독은 최대 9%만 회복함을 보였다.
4. Graft 간 메커니즘적 구별성 검증: 5가지 graft kind 간 cross-kind fix-set Jaccard가 모든 12개 cell에서 0.47 이하로 나타나 각 perturbation이 서로 다른 메커니즘으로 작동함을 검증했고, 이는 "하나의 특권적 벡터" 해석을 배제한다.

How

• 4개 open-weight instruction-tuned 모델과 GSM8K, MATH, MMLU-Pro에서 seed {42,...,47}로 k=6 sampling을 수행해 pass@k=0 stratum을 식별
• Activation grafting: 마지막 prompt-token의 hidden state를 5가지 종류의 cheap synthetic vector로 교체한 뒤 greedy decoding으로 forward pass 진행(가중치와 prompt는 고정, deterministic trajectory만 perturb)
• greedy 단독 및 1~6 chain deterministic budget(그래프 5종 조합)에서의 recovery rate를 측정하고 sampling budget 대비 recovery scaling을 분석(Fig. 3, Fig. 5)
• 각 graft kind가 만들어내는 fix-set(회복된 예제 집합) 간 pairwise Jaccard 유사도를 12개 cell 전체에서 계산해 mechanistic distinctness 검증(App. F)
• Hidden-state divergence를 graft 위치에서 layer별로 측정해 perturbation의 내부 표현 상 효과를 시각화(Fig. 4)

Originality

• pass@k 기반 난이도 추정이라는, 수학 reasoning 및 RL 파이프라인 전반에 널리 쓰이는 근본 가정에 대한 구조적 결함을 제기한 시도로, 기존 decoding diversity 연구(nucleus/top-k sampling, diverse beam search 등)가 token-space에서 다양성을 확보하는 것과 달리 residual-stream 개입을 진단 도구로 사용해 stochastic axis의 한계를 드러낸 점이 독창적이다.
• Activation grafting을 inference 개선을 위한 방법으로 제안하는 것이 아니라, 순수하게 "pass@k=0 stratum이 구조적으로 식별 가능한가"를 검증하는 diagnostic/probing 도구로 재해석해 사용한 점이 참신하다.
• 5가지 서로 다른 perturbation 간 fix-set Jaccard를 통해 "회복된 예제들이 우연히 하나의 특권적 벡터에 의한 것이 아니라 여러 메커니즘에 걸쳐 분산되어 있다"는 것을 정량적으로 검증한 방법론적 설계가 돋보인다.

Limitation & Further Study

• Activation grafting은 실제 배포 가능한 decoding 방법이 아니라 내부 표현에 대한 개입이므로, 본 연구 결과가 "unmodified model이 ordinary inference로 이 slice에 도달한다"는 것을 의미하지 않는다는 점을 저자들도 명시적으로 한계로 인정한다.
• 실험이 4개의 상대적으로 작은 open-weight 모델(3B-12B)과 GSM8K, MATH 등 특정 free-form math benchmark에 국한되어 있어, 더 큰 모델이나 frontier 모델, 다른 도메인(과학, 코드 등)으로의 일반화 여부는 검증되지 않았다.
• 후속 연구로는 이 blind spot을 완화할 수 있는 실제 배포 가능한 difficulty 추정 방법론 개발, 그리고 activation grafting 없이도 이 slice를 식별할 수 있는 대안적 진단 기법 탐색이 필요하다.

Evaluation

총평: pass@k 기반 난이도 추정이라는 널리 사용되는 근본 가정에 구조적 결함이 있음을 정교한 진단 실험으로 입증한 흥미로운 연구이며, activation grafting을 배포 방법이 아닌 진단 도구로 명확히 위치시킨 점에서 방법론적으로도 신중하다. 다만 실험 규모와 모델 범위의 한계로 인해 이 blind spot의 보편성과 실제 파이프라인에 미치는 영향의 크기는 추가 검증이 필요하다.