Quantifying Ranking Uncertainty in LLM Benchmarks

Motivation

• Known: Pretrained model들은 Hugging Face Open LLM Leaderboard와 같은 multi-task leaderboard에서 순위로 비교되는 것이 일반적이며, 최근 pairwise hypothesis test를 aggregation하여 rank CI를 구성함으로써 순위의 불확실성을 정량화하는 방법이 제안된 바 있다.
• Gap: 기존 rank CI 방법은 불확실성의 원인(즉, aggregation 수준이나 어떤 population을 비교 대상으로 삼을지)을 임의로 고정한 채 사용되었으며, MMLU와 같은 벤치마크에서 subject, question, prompt 등 다양한 variability 원천이 순위 불확실성에 미치는 영향을 체계적으로 분석하지 않았다.
• Why: LLM 벤치마크 순위는 연구 진보를 보고하고 모델을 선택하는 핵심 근거로 쓰이지만, 단일 값 순위만 제시될 경우 subject나 prompt에 따른 실질적 성능 변동을 은폐할 수 있어, 통계적으로 타당한 불확실성 정량화 없이는 모델 간 유의한 차이나 최상위 모델 식별이 오도될 위험이 크다.
• Approach: paired t-test 등 directional pairwise location test를 이용해 각 모델 쌍에 대해 우열을 검정하고, Holm 보정을 통한 FWER 제어 하에 rank 상한·하한을 산출하는 rank CI 프레임워크를 MMLU(PromptEval 확장 데이터)에 적용하여, unit의 정의(질문-프롬프트 개별 관측 vs subject 단위 집계 등)에 따라 순위 불확실성이 어떻게 달라지는지 비교 분석한다.

Achievement

Figure 4. Subject-specific rank CIs with aggregation across ques-

1. 불확실성 원천의 명시적 분리: MMLU 벤치마크 내 subject 간 변동성, subject 내 question 변동성, prompt variant 변동성을 구분하여 각각이 rank CI 폭에 미치는 영향을 정량적으로 분석하였다.
2. subject 변동성이 지배적임을 실증: subject 간 순위 변동성이 prompt 변동성보다 훨씬 크다는 것을 rank CI 비교를 통해 보였으며, 이는 벤치마크 전체 평균 정확도만으로 모델을 비교하는 관행의 위험성을 드러낸다.
3. hypothesis test 선택에 따른 rank CI 민감도 분석: paired t-test 외 Wilcoxon 등 다양한 pairwise test와 unit 정의에 따라 rank CI 결과가 달라짐을 보여, rank CI 구성 시 통계적 선택이 단순한 기술적 디테일이 아니라 추론 결과 해석에 직결됨을 논증하였다.
4. subject-level 분석의 필요성 제시: subject 단위 rank CI(Figure 4)를 통해 벤치마크 전체 집계에서는 드러나지 않는 모델 간 유의한 성능 차이를 탐지할 수 있음을 보였다.

How

Figure 3. Scores with 95% CIs and rank CIs from accuracy scores

• MMLU의 PromptEval 확장 데이터(15개 모델, 57개 subject, 100개 prompt variation, subject당 최소 100문항)를 사용
• 모델 쌍 (mj, mk)에 대해 방향성 있는 one-sided hypothesis test (Hjk;0: µj ≤ µk 등)를 수행하여 pairwise p-value 산출
• Holm's correction으로 FWER 제어 후 유의하게 우수/열등한 모델 수를 세어 rank의 lower/upper bound (Lj, Uj) 산출 (marginal coverage, α=0.05)
• unit(y_i)의 정의를 (subject, question, prompt variant) 개별 관측치부터 subject 단위 집계까지 다양하게 변화시키며 rank CI를 비교
• paired t-test와 Wilcoxon 등 robust alternative test를 적용해 검정 방법에 따른 rank CI 차이를 비교
• 각 subject에서 100개 질문을 무작위 샘플링하여 subject 간 비교 가능성을 확보

Originality

• 기존 rank CI 방법론(Al Mohamad et al., Neuhof & Benjamini, Foucart et al.)을 단순 적용하는 데 그치지 않고, unit 정의와 aggregation 수준의 선택이 rank CI 해석에 미치는 영향을 명시적으로 프레이밍하여 통계적 선택의 중요성을 이론·실증적으로 부각
• LLM 벤치마크 uncertainty quantification 연구에서 상대적으로 소외되었던 subject-level 변동성을 rank CI 프레임워크에 결합하여 분석한 최초 시도 중 하나
• MMLU라는 널리 쓰이는 벤치마크에 대해 통계적으로 엄밀한 순위 불확실성 분석을 수행하고 코드를 공개하여 재현성과 확장성을 확보

Limitation & Further Study

• balanced design과 근사 정규분포를 가정한 paired t-test 기반 분석이 중심이며, 실제 모델-질문 상호작용의 복잡한 의존 구조나 unbalanced design에 대한 완전한 처리는 제한적(mixed-effects model 언급은 있으나 본문 분석에서 충분히 다뤄지지 않음)
• MMLU 한 벤치마크, 15개 모델이라는 비교적 제한된 스케일에서의 사례 연구로, 다른 multi-task benchmark(예: HELM, BIG-bench)나 더 많은 모델 수에 대한 일반화 가능성은 추가 검증 필요
• marginal coverage 중심 분석이며 simultaneous coverage에 대한 논의는 appendix로 제한되어 있어 다수 모델 동시 비교 시의 엄밀한 보장에 대한 본문 내 논의가 부족
• 후속 연구로는 다양한 벤치마크·모델 규모에 대한 일반화, unbalanced/missing data 상황에서의 rank CI 확장, subject 간 상관구조를 반영한 계층적 모델링 등이 필요

Evaluation

총평: LLM 벤치마크 순위의 불확실성 정량화라는 실용적으로 중요한 문제에 통계적으로 엄밀한 rank CI 방법론을 적용하고, subject 수준 변동성의 중요성을 명확히 보여준 견실한 워크숍 논문이다. 방법론 자체의 참신성은 제한적이나 MMLU 사례를 통한 실증 분석과 통계적 선택에 대한 세심한 논의는 LLM 평가 관행 개선에 실질적으로 기여할 수 있다.