Can Training Logs Make Model Comparisons More Precise?

Motivation

• Known: 확률적으로 학습되는 모델의 성능 비교는 반복 run에서 얻은 평균 차이와 그 불확실성(표준오차)에 의존하며, run-to-run variation은 confidence interval과 model ranking에 큰 영향을 미친다. A/B testing에서는 CUPED와 같은 pre-experiment covariate를 이용한 regression adjustment가 분산을 줄이는 표준 기법으로 알려져 있다.
• Gap: training log의 covariate(early validation loss, gradient norm 등)는 treatment 이전에 측정되는 것이 아니라 outcome과 함께 co-produced되기 때문에, 기존 A/B testing의 pre-treatment covariate adjustment 이론이 그대로 적용되지 않으며 pooled adjustment는 모델 간 차이 자체를 흡수할 위험이 있다. 또한 어떤 통계량이 유용한지 사전에 알 수 없어 covariate selection이 결과의 신뢰성을 좌우하는 문제가 충분히 연구되지 않았다.
• Why: 딥러닝 모델 비교는 반복 학습에 큰 컴퓨팅 비용이 들기 때문에, 추가 run 없이 기존 training log만으로 비교의 정밀도를 높일 수 있다면 제한된 run budget 하에서도 더 신뢰할 수 있는 모델 비교와 랭킹이 가능해진다.
• Approach: 각 모델을 자신의 training-log covariate로만 조정하는 arm-specific covariate adjustment를 제안하며, raw mean difference는 그대로 보고 효과로 유지한 채 표준오차만 줄이는 방식을 사용한다. cross-fitted coefficient 추정과 coverage 진단, null calibration을 통해 조정의 타당성을 실증적으로 검증한다.

Achievement

1. Arm-specific adjustment framework 제안: 각 모델을 자신의 training-log covariate로만 조정하고, cross-fitted coefficient 추정, coverage 진단, null calibration check를 결합한 프레임워크를 3×3 factorial 비전 실험(ResNet-18, ViT-Tiny, ConvNeXt-Tiny × CIFAR-10, CIFAR-100, Tiny-ImageNet, 총 450 runs)으로 검증했다.
2. Model-specific covariate signal 발견: 고정된 early validation-loss adjustment와 training-log family의 PCA summary가 일부 셀에서 상당한 폭으로 single-arm variance를 줄일 수 있음을 보였으나, 유용한 통계량은 모델과 training recipe에 따라 달라진다.
3. Covariate selection risk 규명: 큰 candidate pool에서 가장 상관된 통계량을 사후적으로 탐색(broad search)하면 사후적으로는 유용한 통계량이 존재함에도 불구하고 오히려 노이즈를 더 추가하는 경우가 많음을 실증했다.
4. Pairwise comparison에서의 효과 확인: arm-specific adjustment가 충분한 run budget에서는 confidence interval을 좁히지만, run 수가 적을 때는 오히려 넓힌다는 것을 보였다.

How

• 모델 m의 각 run s에서 final test accuracy Y_{m,s}와 동일 run의 training-log covariate X_{m,s}를 이용해 Y_{m,s}^{adj} = Y_{m,s} - θ_m^⊤(X_{m,s} - μ_{X,m}) 형태로 arm별 조정을 수행한다.
• adjustment는 raw mean difference(Δ = μ_A - μ_B)의 점추정치는 바꾸지 않고 표준오차만 변화시킨다.
• 단일 covariate의 population-optimal coefficient에서 variance reduction(VR)은 ρ²_{X_mY_m}로 표현되며, 유한 표본에서는 θ_m 추정 비용으로 인해 실제 VR이 이보다 작아짐(∼p/n_train 스케일)을 이론적으로 제시한다.
• pooled regression 대신 arm-specific fitting을 사용해 모델 간 차이가 covariate에 흡수되는 것을 방지한다.
• cross-fitted(out-of-fold) coefficient 추정으로 직접적인 overfitting을 완화하고, 실제 학습한 50 runs에서의 resampling을 통해 interval coverage를 진단한다.
• covariate selection risk를 분석하기 위해 넓은 candidate pool에서 최상관 통계량을 탐색했을 때의 효과적 자유도 증가와 그로 인한 VR 저하를 실험적으로 분석한다(Figure 2, 3).

Originality

• CUPED류의 regression adjustment를 A/B testing의 pre-treatment covariate 설정에서 딥러닝 모델 비교의 co-produced training-log covariate 설정으로 확장한 점이 독창적이다.
• treatment 이전 측정이 아닌 co-produced covariate 문제를 다루기 위해 arm-specific(모델별 독립) adjustment라는 설계를 제안하여, pooled adjustment가 모델 차이 자체를 흡수하는 위험을 원천적으로 회피한다.
• 단순 분산 감소 효과 보고에 그치지 않고 covariate selection에 따른 노이즈 증폭 위험을 실증적으로 규명하고, 이를 실무 가이드라인(사전 고정된 통계량만 주 adjustment로 사용, 그 외는 exploratory로 보고)으로 연결했다.

Limitation & Further Study

• 연구의 핵심 한계로 covariate selection 문제를 스스로 지적하고 있다: 넓은 log pool 탐색은 사후적으로 유용한 통계량이 존재해도 실제로는 노이즈를 더 추가하는 경우가 많아, 제한된 run budget 하에서 신뢰할 수 있는 선택 방법이 여전히 열린 문제로 남아있다.
• 실험이 비전 도메인(3개 architecture × 3개 dataset)에 국한되어 있어 NLP, 강화학습 등 다른 도메인이나 더 큰 스케일의 모델/데이터셋에 대한 일반화 가능성은 검증되지 않았다.
• OLS와 PCA 기반의 선형적 adjustment에 초점을 맞추었으며, ridge나 James-Stein shrinkage 등 더 정교한 다변량 축소 기법은 향후 연구로 남겨두었다.
• co-produced covariate의 통계적 특성(예: pre-treatment 독립성 부재)으로 인한 이론적 보장 부족을 resampling 기반 실증 진단으로만 보완하고 있어, 엄밀한 이론적 커버리지 보장은 제시되지 않았다.

Evaluation

총평: 딥러닝 모델 비교의 불확실성을 줄이기 위해 training log를 활용하는 실용적이고 신중하게 설계된 arm-specific covariate adjustment 방법을 제시하며, covariate selection의 위험성까지 정직하게 분석한 점이 돋보이는 견실한 workshop 논문이다. 다만 비전 도메인에 국한된 실험 범위와 covariate selection 문제의 미해결은 후속 연구가 필요한 지점이다.