Anytime-Valid Hypothesis Testing for Sparse Autoencoder Feature Validation

Motivation

• Known: SAE는 언어 모델의 residual stream을 sparse하고 해석 가능한 feature dictionary로 분해하는 표준 해석 도구로 자리 잡았으며, refusal, sycophancy, deception 등 다양한 현상 연구에 활용되어 왔다. 기존 feature validation은 top activating example을 검사하고 automated explanation의 타당성을 확인하거나, 소수 hand-picked prompt에 대한 단일 ablation을 수행하는 방식에 그친다.
• Gap: 현재의 feature validation은 대체로 상관관계적(correlational)이고 ad hoc하며, formal한 false discovery 통제 없이 이루어진다. 24,000개 feature를 가진 SAE는 수작업 검증이 불가능하고, Bonferroni 같은 naive multiple-testing correction은 지나치게 보수적이어서 아무것도 남기지 못하는 문제가 있다.
• Why: 해석가능성 연구자들이 실제로 작업하는 방식(연속적 데이터 수집, 임의 중단, 대규모 feature dictionary, feature 간 미지의 의존 구조)에 부합하면서도 통계적으로 엄밀한 causal feature validation 방법이 없다면, 대규모 SAE 기반 해석 주장들이 근거 없는 아티팩트일 위험이 있다.
• Approach: 각 candidate SAE feature를 개별 one-sided hypothesis(랜덤 comparison feature 대비 초과 인과 효과)로 정식화하고, testing-by-betting 기반 e-process(aGRAPA betting)로 anytime-valid Type-I error 통제를 달성한 뒤, e-BH procedure로 feature dictionary 전반에서 임의 의존성 하에서도 유효한 FDR 통제를 수행한다.

Achievement

Figure 3. FDR control on synthetic SAE data: our procedure (e-BH

1. synthetic ground-truth 검증: attention-only transformer와 소형 SAE에서 exhaustive ablation으로 oracle ground truth를 확보하여, 10개 seed에 걸쳐 α=0.05에서 empirical FDP = 0.000 ± 0.000으로 FDR을 목표 수준 이하로 통제함을 보였다.
2. 효과 크기 비례 검출력: 강한 causal effect를 가진 feature는 거의 100% 확률로 검출되고, 약한 feature는 예상대로 기각되지 않아, 절차가 true causal effect size에 비례하여 feature를 복원함을 입증했다.
3. 실제 모델(GPT-2 small) 검증: 공개된 residual-stream SAE와 indirect object identification(IOI) benchmark를 사용해 K=89개 candidate 중 6개 feature를 α=0.05에서 기각했으며, 이 중 5개는 Neuronpedia에 게시된 해석이 task 구조(소유권 이전, 수령인, 수여)와 직접 일치했다.
4. baseline 대비 우위: Gaussian fit을 사용한 Model-X knockoffs baseline은 동일 데이터에서 0개를 기각했고, 더 높은 α 수준에서는 empirical FDR 위반까지 보여, 제안 절차의 명확한 이점을 입증했다.

How

Figure 4. Wealth trajectories for the three highest-e-value features

• 각 feature j에 대해 paired ablation을 통해 X_i^(j) = Δ(random feature 제거) - Δ(feature j 제거) 형태의 관측치를 정의하고, 이를 이용해 H0: E[X^(j)] ≤ 0 (feature j가 random comparison feature보다 더 필요하지 않다)이라는 one-sided composite hypothesis를 설정.
• wealth process E_t^(j) = E_{t-1}^(j) · (1 + λ_t^(j) X_t^(j))를 구성하고, aGRAPA betting strategy(running mean/variance 기반 plug-in Kelly betting, [0,c] 범위로 clip)를 사용하여 predictable betting fraction λ_t^(j)를 산출.
• Ville's inequality를 통해 null 하에서 wealth process가 1/α를 넘을 확률이 α 이하임을 보장하여, 임의의 data-dependent stopping time에서도 Type-I error를 통제(anytime-valid).
• feature dictionary 전체에 대해 개별 feature-level e-value들을 Wang & Ramdas(2022)의 e-BH procedure에 입력하여, feature 간 임의의 의존 구조(공유 prompt, 겹치는 residual stream subspace 등) 하에서도 유효한 FDR 통제를 수행.
• robustness check으로 Cutkosky & Orabona(2018)의 Online Newton Step 기반 betting variant도 함께 사용.
• 비교 baseline으로 Cand`es et al.(2018)의 Model-X knockoffs(Gaussian fit)를 동일 데이터에 적용하여 성능 비교.

Originality

• SAE feature validation 문제를 sequential paired-difference test로 형식화하고, 이를 causal necessity 기준의 formal hypothesis로 명시적으로 연결한 최초의 시도로 보인다.
• e-process와 e-BH를 결합하여 anytime-valid하면서 동시에 대규모 feature dictionary 전반에 걸쳐 임의 의존성 하에서도 FDR을 통제하는 프레임워크를 해석가능성(interpretability) 연구 워크플로우(연속적 데이터 수집, 임의 중단)에 맞춰 적용한 점이 독창적이다.
• 무작위 comparison feature를 사용해 "임의 feature 제거의 전형적 효과"를 흡수하는 상대적 estimand(relative estimand) 설계로 다중검정 문제를 다루는 방식이 참신하다.
• Model-X knockoffs와의 직접 비교를 통해 batch 기반 방법의 Gaussian 가정 실패(model-misspecification)를 실증적으로 드러낸 점도 기존 연구와 차별화된다.

Limitation & Further Study

• 제안된 estimand는 절대적 필요성이 아닌 random comparison feature 대비 상대적(relative) 초과 효과를 검증하는 것이므로, redundant feature 간 신호 공유 시 load-bearing feature가 기각되지 않을 수 있다는 한계를 저자들도 인정한다.
• comparison distribution(무작위 feature 선택)의 구성 자체가 confound가 될 수 있으며, 이에 대한 충분한 이론적·실증적 분석이 본문 발췌 부분에서는 제한적으로만 다뤄진다.
• 검증이 GPT-2 small 및 단일 IOI benchmark, 그리고 소규모 synthetic attention-only transformer에 국한되어 있어, 더 크고 다양한 모델·task·SAE 아키텍처(예: transcoder, cross-layer SAE)로의 일반화 가능성은 추가 검증이 필요하다.
• e-process 구성에 필요한 |X_t^(j)| ≤ B라는 a priori bound 설정이 실제 적용 시 얼마나 민감하게 결과에 영향을 미치는지에 대한 감도 분석이 부족해 보인다.
• 후속 연구로는 다양한 SAE 아키텍처와 대규모 모델, 여러 downstream task에 대한 확장 검증, comparison feature 선택 전략의 개선, 그리고 confound를 명시적으로 통제하는 방법론 개발이 필요하다.

Evaluation

총평: SAE feature 해석 가능성 검증에 만연한 ad hoc 관행에 통계적으로 엄밀한 anytime-valid testing과 FDR 통제를 도입한 시의적절하고 실용적인 연구로, synthetic 및 실제 GPT-2 실험을 통해 baseline 대비 명확한 이점을 보였으나 상대적 estimand의 근본적 한계와 더 넓은 검증 범위 확장이 향후 과제로 남아있다.