Testing the "Benign Running Statistics" Hypothesis: Class-Conditional Batch-Normalization Substitution Rejects the Distribution-Shift Account at $p \lt10^{-19}$

Motivation

• Known: BN의 running mean/variance는 학습 데이터 전체 모집단 통계에 대한 근사치로서, 최적화를 돕는 수치적 편의 장치일 뿐 네트워크가 표현하는 내용 자체에는 영향을 주지 않는 "benign" 요소로 널리 간주되어 왔다. AdaBN, TENT 등 기존 연구들은 BN 통계를 도메인 적응이나 강건성 향상을 위해 재추정 가능한 대상으로 다뤄왔고, CBN, FiLM, BigGAN 등은 학습 단계에서부터 클래스 조건부 정규화 파라미터를 사용해 왔다.
• Gap: 기존 연구들은 BN 통계를 유익한 방향으로 조정하거나(AdaBN, TENT) 학습 시점부터 클래스 조건부로 공동 적응시키는(CBN, FiLM) 경우만 다뤘을 뿐, 학습된 global affine parameter를 그대로 둔 채 inference 시점에 same-class 통계로 치환했을 때 어떤 일이 일어나는지, 그리고 그것이 단순한 분포 이동(distribution shift)으로 설명 가능한지에 대한 체계적·반증가능한 검증은 없었다.
• Why: BN running statistics가 정말 "benign approximation"인지 여부는 정규화 계층의 표상적 역할에 대한 근본적 이해와 관련되며, 이 가설이 기각될 경우 BN이 단순 최적화 보조 장치를 넘어 클래스 정보의 인코딩/디코딩에 핵심적으로 관여한다는 mechanistic 해석을 뒷받침하고, 모델 강건성·도메인 적응·해석가능성 연구 전반에 영향을 미친다.
• Approach: 4개 CNN architecture와 3개 dataset에 걸쳐 global/same-class/wrong-class/random-class 네 조건의 paired intervention 실험(총 22개 학습 모델, 1,320회 paired-trial)을 설계하고, linear-probe, GroupNorm 대조군, temperature-scaling, layer-wise ablation, per-statistic(µ, σ2) disentangling 등 사전등록된 대안가설 검증을 순차적으로 수행한다.

Achievement

1. 귀무가설의 명확한 기각: 분포-이동 관점은 어떤 non-global 치환이든 대칭적 손상을 예측하지만, same-class 치환이 wrong-class/random-class보다 압도적으로 치명적임을 확인(CIFAR-10/SmallResNet에서 same-class 정확도 3.5% vs wrong-class 65.4%, t(9)=-39.1, p<10^-10; same-vs-global t(9)=-374, p=3.5×10^-20), 이 순서(same ≪ random/wrong ≪ global)가 4개 architecture와 3개 dataset에서 재현됨.
2. 세 가지 대안설명 모두 기각: (a) linear-probe 정확도 ≥99.7%로 "encoder가 망가졌다"는 설명 기각, (b) GroupNorm 대조군(running statistics 없음)이 영향받지 않아 "일반적 running-stat 교란" 설명 기각, (c) temperature scaling으로 ECE는 0.394→0.151로 절반이 되지만 정확도는 불변하여 "logit-scale 문제" 설명 기각.
3. multiplicative-compounding 가설은 기각되지 않음: layer-wise ablation에서 단일 layer 손상의 합은 29.4%인데 전체 layer 적용 시 손상은 86.8%로 2.95배 super-additive하며 이는 seed 간에도 재현됨.
4. per-statistic 분리 실험으로 선형화 예측의 부분적 기각: µ만 치환 시 정확도 76.7%, σ2만 치환 시 27.2%, 둘 다 치환 시 2.8%로, 단일 layer 선형화가 예측하는 것과 달리 σ2 치환이 µ 치환보다 더 치명적이며 두 통계량은 super-additive하게 상호작용함.
5. 대수적 항등식 제시: one-layer linearization을 통해 same-class 통계가 head 입력의 class-c 성분을 정확히 0으로 만드는 반면 wrong-class 통계는 이를 평행이동만 시킨다는 사실을 도출, 이는 잔존 가설 공간에 대한 제약으로 제시됨.

How

• 학습된 네트워크에 대해 클래스별 subset 데이터를 BN train() 모드로 통과시켜 클래스별 running statistics(µ_c, σ_c²)를 별도로 추정(파라미터 업데이트 없음)
• inference 시 네 가지 조건(global/same-class/wrong-class/random-class)으로 BN buffer를 치환하여 정확도를 비교하는 paired 실험 설계
• 4개 CNN architecture(SmallResNet 포함) × 3개 dataset(CIFAR-10 포함) 조합으로 22개 학습 모델에 대해 1,320회 paired-trial 비교, paired t-test로 통계적 유의성 검증
• 사전등록된(pre-registered) 대안설명 검증: linear-probe test(post-substitution feature에 대한 probe 학습), GroupNorm architectural-control(running statistics 없는 구조에서 동일 실험), temperature-scaling test(ECE와 accuracy 분리 확인)
• within-architecture layer-wise ablation으로 각 layer별 단독 치환 손상 vs 전체 layer 동시 치환 손상 비교(multiplicative-compounding hypothesis 검증)
• µ와 σ2를 개별적으로 치환하는 per-statistic disentangling 실험으로 one-layer linearization의 하위 가설 검증
• 대수적으로 one-layer linearization을 유도하여 same-class 치환이 class-c 성분을 정확히 0으로 만드는 조건을 도출(Eq. 2)

Originality

• BN running statistics의 "benign approximation" 가정을 명시적인 반증가능한(falsifiable) 귀무가설로 재구성하고, 이를 paired intervention 설계로 직접 검증한 최초의 시도로 보임
• same-class/wrong-class/random-class/global의 4-way paired 비교라는 독창적 실험 설계를 통해, 단순 분포-이동 관점으로는 예측 불가능한 비대칭적(asymmetric) 손상 패턴을 발견
• mechanistic interpretability의 mean-ablation 개념을 CNN의 BN layer에 유비적으로 적용하여, probe-vs-classifier dissociation이라는 mech-interp의 표준적 발견을 정규화 계층 맥락에서 재현
• 단순 실증 결과 제시에 그치지 않고, 사전등록된 대안가설 검증 체계(linear-probe, GroupNorm 대조군, temperature scaling)를 갖춘 "intervention-design hypothesis testing" 방법론 자체를 ML 연구의 모범 사례로 제안

Limitation & Further Study

• 저자들 스스로 언급하듯, affine parameter(γ, β)를 global 학습값으로 고정한 채 BN 통계만 치환했기 때문에, 이 현상은 CBN처럼 애초에 클래스 조건부로 공동 학습된 네트워크에는 적용되지 않을 가능성이 있음(co-adaptation 부재로 인한 현상일 수 있음)
• one-layer linearization은 대수적 항등식으로서 현상의 필요조건적 설명을 제공하지만, 실제 다층 네트워크에서의 multiplicative compounding이나 σ2 치환이 µ 치환보다 더 치명적인 현상 등은 완전히 설명하지 못함(선형화의 예측과 실측 결과 간 불일치가 명시적으로 보고됨)
• probe trajectory의 non-monotone 양상이 선형화로 설명되지 않는 채로 열린 문제로 남겨짐
• 후속 연구로는 co-adapted class-conditional affine parameter를 가진 네트워크에서의 재검증, multiplicative compounding의 정확한 메커니즘 규명, 그리고 non-monotone interpolation 현상에 대한 추가 조사가 필요해 보임

Evaluation

총평: BN running statistics가 단순히 "benign approximation"이라는 통념적 가정을 명확한 반증가능 가설로 정식화하고 엄밀한 paired intervention과 다중 대안가설 검증을 통해 통계적으로 강력하게 기각한, 방법론적으로도 실증적으로도 견실한 연구이다. 다만 fixed-affine 조건의 일반화 가능성과 super-additive 상호작용의 완전한 메커니즘적 설명은 향후 과제로 남아있다.