Multiple-Comparison Testing for Cross-Validation Path Optimization Benchmarks: A Hessian-Mismatch Diagnostic for Holm--Bonferroni Failure Modes

Motivation

• Known: Demšar(2006) 등에 의해 여러 데이터셋에 걸친 분류기/솔버 비교 시 다중비교 보정(Bonferroni, Holm–Bonferroni, Benjamini–Hochberg 등)이 필요하다는 점이 알려져 있으며, 딥러닝 optimizer 벤치마크에서도 통계적 유의성이 거의 보고되지 않는다는 지적이 있었다.
• Gap: 그러나 기존 관행은 uncorrected p-value를 보고하거나 아예 p-value를 보고하지 않으며, 설령 다중비교 보정을 적용하더라도 어떤 데이터셋이 왜 rejection되는지를 설명하는 problem-specific 구조적 진단(diagnostic)과 결합한 사례는 거의 없었다.
• Why: 이 연구는 optimization 벤치마크에서의 통계적 검정이 단순 보정 절차만으로는 불충분하며, rejection 패턴에 알고리즘적 의미를 부여하는 구조적 진단(µ*)을 병행해야 함을 보여줌으로써, 벤치마크 결과 해석의 신뢰성과 재현성 논의에 기여한다.
• Approach: R1+10(closed-form/fixed-preconditioner logistic regression solver)과 warm-start L-BFGS를 11개 데이터셋에서 5-fold CV paired t-test와 Holm–Bonferroni 보정으로 비교하고, rejection된 데이터셋들이 Hessian-mismatch index µ*가 작은 데이터셋과 일치함을 post-hoc으로 분석한다.

Achievement

Figure 2. Convergence of two diagnostics toward the true asymp-

1. Holm–Bonferroni 검정 프로토콜 적용: 11개 데이터셋에 대해 paired t-test + Holm–Bonferroni 보정을 적용하여 정확히 2개 데이터셋(Adult, p<1e-3; Covertype, p=0.001)에서만 iso-accuracy null이 기각됨을 확인.
2. 구조적 진단(µ)과의 일대일 대응: 기각된 데이터셋이 정확히 Hessian-mismatch index µ가 작은 데이터셋(Adult ≈0.09, Covertype ≈1e-3)과 일치함을 보이고, 이는 sigmoid saturation 비율과 관련됨을 분석.
3. µ̂5(조기 반복 추정치)의 실패 검증: 10개 데이터셋에서 µ̂5 값이 실제 µ*와 무관하게 [0.08, 0.21] 구간에 clustering되어, τ=0.05 임계값에서 false-positive rate 100%로 사전 결정 규칙으로 부적합함을 실증.
4. 검정력 및 대안 절차 비교: Bonferroni, Holm–Bonferroni, Benjamini–Hochberg, no correction 4가지 보정 방법과 paired t, Wilcoxon, sign test, bootstrap CI 4가지 검정통계량을 비교하고 D, K, 효과크기에 따른 검정력을 분석.

How

Figure 1. Hessian-mismatch index µ∗(left) and sigmoid-saturation

• ℓ2-regularized logistic regression의 CV-path(20개 log-spaced λ, 5-fold CV, 5회 split-repetition)에서 R1+10과 L-BFGS의 CV 정확도 차이 ∆_d를 계산하고 paired t-statistic T_d 산출
• D=11개 데이터셋에 대해 Holm–Bonferroni step-down 절차로 다중비교 보정 적용, Bonferroni/BH/no-correction과 비교
• Hessian-mismatch index µ := λ_min(M^{-1/2}H(θ)M^{-1/2})를 fixed preconditioner M=2λI+¼XᵀX와 optimum-Hessian H(θ*)의 generalized Rayleigh quotient로 정의하고 폐형식으로 계산
• 조기 반복(5회) 기반 progressive estimate µ̂_5를 계산하여 실제 µ*와의 상관관계 및 임계값 τ=0.05에서의 분류 성능(FP rate) 평가
• bootstrap CI를 통한 speedup(1.2~9.5×)의 통계적 유의성 및 검정력 분석 수행

Originality

• 다중비교 보정(Holm–Bonferroni)과 문제 특화 구조적 진단(Hessian-mismatch index µ*)을 결합하는 프로토콜을 제안한 점이 참신하며, 이는 Demšar(2006)가 암시했지만 실제로 operationalize된 적이 드문 접근임
• rejection 패턴이 무작위 Type-I error가 아니라 알고리즘적으로 의미 있는 구조적 regime(작은 µ*)과 정확히 대응한다는 실증적 발견
• 직관적으로 그럴듯해 보이는 조기 반복 기반 대리 지표(µ̂5)를 사전 결정 규칙으로 사용하는 것이 실패한다는 것을 명시적으로 반증(falsification)한 점

Limitation & Further Study

• 새로운 통계적 검정 방법을 제안한 것이 아니라 기존 textbook 기법들의 조합이므로 방법론적 기여의 폭이 제한적임(저자들도 인정)
• ℓ2-regularized logistic regression이라는 특정 문제 클래스에 국한된 폐형식 µ* 정의이며, 비-logistic 또는 SGD 계열 딥러닝 optimizer로의 일반화는 검증 없이 추측(conjecture)으로만 제시됨
• 데이터셋 수(D=11)와 split-repetition 수(R=5)가 크지 않아 검정력 분석의 통계적 강건성에 제약이 있을 수 있음
• µ̂5가 실패하는 이유(초기 iterate가 bottom eigenspace와 정렬되지 않음 등)에 대한 심층적 이론적 설명이나 대안적 pre-iteration 진단 지표 제시가 부족함
• 향후 연구로 SGD-family 딥러닝 optimizer에 대한 sharpness/edge-of-stability 기반 구조적 진단으로의 확장이 필요함

Evaluation

총평: 통계적 검정 자체보다는 다중비교 보정과 구조적 진단을 병행해야 한다는 방법론적 프레이밍과 이를 뒷받침하는 명확한 실증 사례(µ*와의 일대일 대응, µ̂5의 실패)를 제시한 점에서 실용적 가치가 있으나, 적용 범위가 ℓ2-logistic regression에 국한되어 일반화 가능성은 제한적이다.