Resolution Diagnostics for Paired LLM Evaluation

Motivation

• Known: McNemar's test와 그 required-N 공식(Connor, 1987)은 paired binary outcome에 대한 고전적 검정 도구이며, NLP/LLM 평가에서 검정력 부족(underpowered) 문제가 지적되어 왔고(Card et al., 2020), Miller(2024)는 unpaired Gaussian-accuracy 경우에 대한 closed-form required-N 공식을 제시한 바 있다.
• Gap: 기존 연구들은 paired-difference variance, 리더보드 규모의 multiplicity, per-pair resolution 진단을 각각 별개로 다루었을 뿐 이를 통합한 프레임워크가 없었고, 널리 쓰이는 power calculator들이 실제로는 paired 설계인 상황에 unpaired Cohen-h-plus-(1−ρ) shortcut을 잘못 적용해 required-N을 체계적으로 과소추정하는 문제도 정량적으로 규명되지 않았다.
• Why: 리더보드에 표시되는 0.x%p 수준의 미세한 성능 차이가 실제로 통계적으로 유의미하게 구분 가능한지 여부는 모델 선택, 제품 결정, 후속 연구 방향에 직접적인 영향을 미치므로, 이를 검증할 수 있는 표준화된 resolution-reporting 프로토콜의 부재는 커뮤니티 전반의 신뢰성 문제로 이어진다.
• Approach: shared-prompt paired 벤치마크를 hypothesis-testing 문제로 정식화하여 level-α, power-(1−β) 검정을 역산함으로써 minimum detectable effect(MDE), 요구 표본크기 N, resolution ratio q=N/N라는 세 가지 진단량을 도출하고, 이를 Cohen-h 기반 shortcut의 오용에 대한 새로운 lemma 및 실제 리더보드 재분석과 결합한다.

Achievement

Figure 1. Efficiency gain of paired McNemar over the unpaired

1. 불충족 리더보드 순위의 정량화: Open LLM Leaderboard v1의 40개 pairwise 비교 중 11개, MMLU-Pro top-10 인접순위 9쌍 중 4개가 (0.05, 0.8) 해상도 기준에서 unresolved임을 보였고, subject-level clustering 반영 시 MMLU-Pro의 unresolved 쌍이 6/9로 증가함을 확인했다.
2. Lemma 1 (sharp small-effect expansion): unpaired Cohen-h-plus-(1−ρ) shortcut의 비율 nh/N이 1/2로부터 명시적 2차 상수 C(p,ρ)δ² 이내로 벗어남을 증명하고, 이 shortcut이 close-comparison 영역에서 정확한 N보다 약 2배 벗어남을 규명했다.
3. Calculator 오용 사례 실증: Cohen(1988), G*Power, R pwr 등 5개 계산기 중 3개가 (1−ρ) 사후 보정 방식에서 이 결함을 그대로 계승함을 worked example로 보였다.
4. Prospective 검증: paired-McNemar required-N이 Miller(2024)의 unpaired Gaussian 공식보다 중앙값 2.15배 작으며(Figure 1), 실제 OLL v1 3개 쌍에서 프레임워크의 N* 처방이 부트스트랩 실험적 검정력 0.80±0.03을 정확히 달성함을 확인했다.
5. 다중 stress-test 하 강건성: multiplicity correction, 실제 subject-level clustering, anytime-valid sequential testing을 모두 적용해도 unresolved-pair 패턴이 유지됨을 보이고, 이를 통합한 per-pair verdict table(Table 5)과 pip-installable 패키지 llm-power를 제공했다.

How

Figure 5. Bootstrap power against paired sample size n on synthetic paired Bernoulli data, three δ. Dashed verticals mar

• Paired difference D_i = X_i^A − X_i^B를 정의하고 정규근사 하 Wald 통계량 T_N을 통해 level-α 검정을 구성
• 목표 power (1−β)에서 검정을 역산하여 required N*(δ; α, β)와 MDE δ_MDE(N; α, β)를 도출 (Eq. 3, 4)
• resolution ratio q := N/N*(δ̂)를 정의하고 q ≥ 1을 해상도 충족 조건으로 사용 (Definition 1); q는 T_N²의 단조 변환임을 보임
• paired-binary accuracy에 대해 McNemar-Connor required-N을 구체화하고, unpaired Cohen-h-plus-(1−ρ) shortcut과의 편차를 나타내는 Lemma 1 및 Corollary 1을 증명
• 5개의 실제 power-analysis 도구(Cohen 1988, G*Power 3.1, R pwr 등)에 worked example (p_A, p_B, ρ)=(0.65, 0.60, 0.30)을 적용해 오용 패턴 재현
• OLL v1 40개 쌍과 MMLU-Pro top-10 9개 인접쌍에 진단을 적용하고, subject-level clustering에 의한 design-effect 보정, category-bootstrap 재표본, LOSO 민감도 분석 수행
• Bonferroni/Holm multiplicity correction과 anytime-valid e-process(sequential testing)를 추가로 적용해 unresolved 패턴의 견고성 검증
• 부트스트랩 시뮬레이션(M=1000 trials)으로 N* 처방의 실증적 검정력 calibration 수행

Originality

• unpaired shortcut의 오차를 leading-order factor of two를 넘어 명시적 2차 상수를 갖는 sharp expansion(Lemma 1)으로 정식화한 최초의 시도
• 5개 실제 power calculator에 대한 구체적 오용 사례 characterisation을 제공하여 이론적 결함이 실무 도구에 어떻게 전파되는지 실증
• paired-difference variance, 리더보드 규모의 multiplicity, subject-level clustering, anytime-valid sequential testing을 하나의 파이프라인으로 통합하여 실제 공개 리더보드에 대한 end-to-end resolution characterisation을 최초로 수행
• resolution ratio q를 aggregation-friendly 진단 스칼라로 도입하여 p-value 대비 해석적 부가가치와 조합 가능성을 강조

Limitation & Further Study

• q는 이론적으로 Wald 통계량의 단조 변환에 불과하여 단일 쌍에 대해서는 p-value 이상의 새로운 정보를 담지 않으며, 그 가치는 주로 해석과 aggregation 레이어에 국한된다는 저자 스스로의 한계 인정
• 정규근사에 기반한 O(N^{-1/2}) 오차항이 존재하며, 소표본이나 극단적 비대칭 상황에서의 근사 정확도에 대한 추가 검증이 필요
• calculator 오용 패턴이 실제 출판된 LLM 평가 연구에서 얼마나 만연한지는 별도의 실증 연구로 남겨둠(저자도 명시적으로 이 질문을 해결하지 않았다고 밝힘)
• 두 개의 공개 리더보드(OLL v1, MMLU-Pro)에 국한된 사례 연구로, 다른 벤치마크·태스크 유형(예: 생성형 자유서술 평가, 선호도 기반 LLM arena)으로의 일반화 가능성은 검증되지 않음
• 후속 연구로 다양한 벤치마크 유형과 실제 논문 코퍼스에 대한 대규모 오용 사례 조사, non-normal이나 heavy-tailed score 분포에 대한 확장이 필요

Evaluation

총평: 고전적 통계 도구들(McNemar test, Wald inversion, cluster correction, e-process)을 재조합하여 LLM 리더보드 평가의 실질적 맹점을 명확하고 실용적인 진단 프레임워크로 제시한 견고한 연구이며, 특히 널리 쓰이는 계산기들의 오용 패턴을 구체적으로 드러낸 점과 실제 리더보드 재분석 결과가 실무적 함의가 크다.