A Statistical Framework for Mechanistic Claims in Neural Networks: The Predict--Intervene--Validate Pipeline

Motivation

• Known: mechanistic interpretability 연구는 "feature X가 network Z에서 behaviour Y를 유발한다"는 형태의 인과-통계적 주장을 점점 더 많이 제기하고 있으며, ablation, weight surgery 등 다양한 검증 기법이 개별적으로 사용되어 왔다.
• Gap: 그러나 이러한 mechanistic claim을 검증하기 위한 표준화된 통계적 프레임워크가 부재하여, 일부 연구는 단일 모델에 대한 단일 ablation만 제시하거나 수백 개의 모델을 훈련하고도 상관관계만 보고하는 등 검증의 엄밀성 편차가 매우 크다는 문제가 있다.
• Why: 비표준화된 검증 관행은 informal evidence와 rigorous validation 사이의 간극을 만들어 mechanistic interpretability 분야의 과학적 신뢰성을 저해하는 장벽이 되므로, 재현 가능하고 정량화된 확신도를 갖춘 검증 절차의 확립이 시급하다.
• Approach: 저자는 falsifiable prediction의 사전등록(pre-registration) 및 blind test, confound-controlled causal intervention, hyperparameter-frozen OOD transfer로 구성된 PIV 파이프라인을 제안하고, 각 단계에 대한 power analysis 기반 sample-size guideline을 도출한다.

Achievement

1. Predict 단계 성능: 300개의 fresh held-out baseline Elman RNN에 대해 사전등록된 margin certificate가 AUROC 0.97, precision-optimal operating point에서 97.8% precision(balanced accuracy 0.71)을 달성했으며, 15개 candidate predictor 중 13개가 기각되고 gap formula 등 2개만 확인되었다.
2. Intervene 단계 성능: confound-controlled weight surgery(랜덤 orthonormal 방향 및 matched-rank perturbation을 대조군으로 사용)에서 393/393 인과적 손상(causal break)이 관찰되었고, cluster-bootstrap 검정으로 p<10^-30의 유의성을 얻어 within-model dependence에 강건함을 보였다.
3. Validate 단계 성능: hyperparameter를 고정한 채 12.5배 스케일링된 OOD 전이 실험에서 160/160의 성공률을 보였으며, model-level over-dispersion을 고려한 beta-binomial null model 하에서 p<10^-71의 극도로 유의한 결과를 얻었다.
4. 실용적 산출물: 각 PIV 단계에 대한 sample-size 가이드라인, mechanistic interpretability 제출 논문을 위한 체크리스트, piv Python package, 데모 노트북을 공개하여 실무 적용성을 높였다.

How

• Predict: 100-seed development cohort에서 per-dimension input-invariance score IV(d)=1−Var_x⟨h_t,d⟩/Var_{x,t}⟨h_t,d⟩를 기반으로 gap(d)=1−IV(d)를 정의하고, margin certificate(Proposition 1)를 gap threshold ε=0.2로 사전등록(git-tag)한 뒤, 300개의 완전히 새로운 seed(200–499) 모델에서 blind 평가.
• 15개의 candidate predictor(spectral radius, eigenvalue danger score, DFA transition accuracy, weight norm 등)를 Pearson r 및 Fisher exact test로 체계적으로 비교, threshold ε에 대한 sensitivity analysis(ε∈[0.01,1.0])도 수행.
• Intervene: 100개 recipe-trained 모델에서 W_hh의 행/열을 개별적으로 zero-out하는 weight surgery를 수행하고, matched Frobenius norm의 random orthonormal 방향 및 matched-rank N(0,σ²) perturbation을 대조군으로 사용, dose-response grid α∈{0,...,1.5}에서 효과크기(Cohen's d)와 causal break(persistence <0.5로 하락) 여부를 측정.
• Validate: hyperparameter를 고정한 채 12.5× 스케일링된 아키텍처/task로 전이시켜 mechanism claim 자체의 OOD 일반화를 검증, beta-binomial null model로 model-level over-dispersion을 통제한 유의성 검정 수행.
• 전체적으로 Wilson 95% CI, cluster-bootstrap, power analysis 기반 sample-size 산정 등 다양한 통계적 도구를 통합.

Originality

• mechanistic interpretability 분야에서 그동안 개별적으로 산발적으로 사용되던 예측·개입·검증 절차를 하나의 통일된 3단계 통계 프레임워크(PIV)로 formalize한 최초의 시도로 보임.
• 사전등록(pre-registration)과 blind test라는 임상시험/실험심리학적 방법론을 mechanistic interpretability에 도입하여 확증편향(post-hoc rationalization) 문제를 구조적으로 방지.
• confound-controlled dose-response 분석과 hyperparameter-frozen OOD transfer를 결합해 "모델이 아닌 claim 자체의 일반화"를 검증한다는 개념적 구분이 독창적.
• 실제 구체적 mechanism(Elman RNN의 input-invariant dimensions)에 프레임워크를 인스턴스화하여 ~11,000개 모델 규모의 실증 사례연구로 프레임워크의 실용성을 입증.

Limitation & Further Study

• 프레임워크가 단일 사례연구(Elman RNN의 input-invariant dimensions)에만 적용되어, Transformer 등 더 복잡하고 대규모인 아키텍처의 mechanistic claim(예: circuit-level 현상)에도 동일하게 확장 가능한지는 검증되지 않음.
• 15개 candidate predictor 선정 및 ε=0.2라는 threshold의 최초 설정 근거가 development cohort에 대한 heuristic 선택에 의존하고 있어, 완전히 이론적으로 도출된 것은 아니라는 점에서 사전등록의 엄밀성이 다소 제한적.
• specificity가 0.50로 상당히 낮아(6/12 false positive) precision-recall 트레이드오프의 실제 실무 활용 시 false positive 처리 전략에 대한 추가 논의가 필요.
• 후속 연구로는 Transformer의 attention head나 induction head와 같은 다른 유형의 mechanistic claim에 PIV를 적용하여 일반성을 검증하는 작업, 그리고 여러 mechanism 후보에 대한 multiple-comparison correction의 표준화가 필요해 보임.

Evaluation

총평: mechanistic interpretability 분야의 오랜 방법론적 공백을 통계학의 표준 도구(사전등록, power analysis, confound control)로 메우려는 시도로서 실용적 가치가 높고, 구체적 사례연구를 통한 실증도 설득력 있으나, 단일 사례에 국한된 검증이라 더 넓은 아키텍처·현상으로의 일반화 검증이 후속 과제로 남아있다.