Behavior Is Not Representation: Hypothesis Tests for Concept Steering in LLMs

Motivation

• Known: Linear Representation Hypothesis(LRH)는 LLM interpretability와 safety 연구의 핵심 전제로, concept이 activation space 상의 방향(direction)으로 표상되며 steering vector가 이를 식별한다고 가정한다. DiffMean, LAT, PCA, SteeringVectors 등 다양한 steering 방법들이 behavioral 성공(logit shift, 생성 변화)을 기준으로 평가되어 왔다.
• Gap: 기존 연구들은 steering vector의 행동적 효과만을 검증했을 뿐, 그 vector가 SAE로 정의된 concept-specific feature를 실제로 회복하는지에 대한 구조적(structural) 검증은 수행하지 않았다. 즉 behavioral steering success가 internal representation의 정합성을 보장한다는 가정이 검증되지 않은 채 통용되고 있었다.
• Why: LLM이 핵심 인프라로 전환되는 상황에서 steering 기반 정렬(alignment) 개입이 실제로 의도한 concept representation을 조작하는지 검증하는 것은 안전성과 해석가능성(interpretability) 주장의 신뢰성에 직결되는 문제이다. 행동적 성공만으로 내부 표상을 신뢰하면 잘못된 안전성 보장으로 이어질 수 있다.
• Approach: SAE ground-truth feature 회복을 이항검정(binomial test) 기반 가설검정으로 정식화한 SST 프로토콜을 제시하고, GT-dependent(Top-K recovery, GT cosine similarity)와 GT-independent(dominant-feature prevalence, 인과적 ablation) 증거를 분리해 교차검증한다.

Achievement

Figure 1. The structural-behavioral disconnect at Layer 12. The

1. 구조-행동 분리 현상 규명: 분석적 방법(DiffMean, LAT, PCA)은 concept과 무관하게 전체 concept의 80% 이상에서 발화하는 고빈도 formatting feature로 거의 전적으로 분해되는 반면, 가장 강한 behavioral 효과(∆logit=+4.1)를 내는 gradient 기반 SteeringVectors는 구조적으로 직교하는 subspace(Jaccard<0.025)를 차지함을 밝혔다.
2. GT 회복 실패의 통계적 입증: Bonferroni 보정을 거친 SST에서 20개 configuration 전부 H0를 기각하지 못해(padj=1.0), 어떤 방법도 SAE ground-truth feature를 유의미하게 회복하지 못함을 보였다.
3. hygiene-controlled CryptoBench 도입: 450개 암호학 concept으로 구성된 confound-통제 벤치마크를 통해 분석적 방법은 부분적으로 LRH와 일치하는 moderate correlation(DiffMean r=0.632, LAT r=0.584)을 보이나 SteeringVectors는 거의 상관관계가 없음(r=0.042)을 확인했다.
4. 이중 해리(double-dissociation) 인과 분석: causal ablation을 통해 dominant formatting feature와 concept 연관 semantic feature 어느 쪽도 behavioral steering 효과를 주로 매개하지 않음을 보여, 미지의 메커니즘이 작동함을 시사했다.

How

Figure 2. Pearson correlation (r) between SAE-GT alignment and

• LRH를 SAE feature 회복에 대한 falsifiable 가설검정으로 정식화: 통계량 $T_K(v_c)=1[f^*_c \in \text{Top-}K(f(v_c))]$을 정의하고, $N=16384$, $K=20$일 때 $p_0=K/N$인 Bernoulli null 하에서 one-sided binomial test 수행.
• $f(v)=\text{ReLU}(\frac{v}{\|v\|}W_{enc}+b)$로 steering vector를 SAE 인코딩 공간에 투영해 구조적 정렬을 측정.
• GT cosine similarity, dominant feature prevalence, 행동적 logit shift($\Delta\text{logit}$) 등 보완 지표를 함께 측정.
• AxBench(500 concepts)와 자체 구축한 CryptoBench(암호학 도메인 450 concepts, prompt matching·functional contrast·sentinel removal을 통한 hygiene control)를 사용해 confound를 통제.
• DiffMean, LAT, PCA, SteeringVectors 4개 방법을 Gemma-2-2B-IT의 5개 landmark layer(L4, L8, L12, L20, L24)에서 16k-width Gemma-Scope SAE를 이용해 20개 configuration으로 평가.
• 20개 configuration 전체에 대해 Bonferroni correction 적용, in-context dynamic $\Delta f = SAE(h+\alpha v) - SAE(h)$를 이용한 대규모 구조적 특이성 평가 수행.

Originality

• Behavioral steering 평가만으로는 포착되지 않는 internal misalignment를 SAE ground-truth 기반 가설검정으로 형식화한 최초의 시도.
• GT-dependent와 GT-independent 증거를 명시적으로 분리해 상호 교차검증하는 이중 증거 프레임워크 제시.
• hygiene control을 갖춘 새로운 도메인 특화 벤치마크(CryptoBench)를 구축해 기존 AxBench의 formatting confound 문제를 통제.
• double-dissociation causal ablation을 통해 behavioral steering 효과의 매개 요인을 구조적으로 분리 분석.

Limitation & Further Study

• AxBench의 ground-truth SAE feature 자체의 품질이 낮음(mean AUC-ROC 0.196)을 저자들도 인정하고 있어, GT-dependent 결과(회복 실패)가 ground-truth의 결함 때문인지 방법의 결함 때문인지 완전히 분리되지 않는다.
• 평가가 단일 모델(Gemma-2-2B-IT)과 표준 L1-regularized Gemma-Scope SAE에 국한되어, Gated SAE나 Switch SAE 등 다른 SAE 변형이나 더 큰 모델로의 일반화 가능성은 검증되지 않았다.
• SteeringVectors가 강한 behavioral 효과를 내면서도 구조적으로 어떤 메커니즘을 통해 작동하는지에 대한 설명(어떤 feature가 실제로 매개하는지)은 double-dissociation ablation으로도 완전히 규명되지 못해, 후속 연구로 남는다.
• 본문 발췌 내용상 최종 recovery율(37.1%) 등 일부 대규모 실험 결과의 전체 해석과 논의가 충분히 제시되지 않아 완전한 평가가 어렵다.

Evaluation

총평: Steering 연구에서 오랫동안 암묵적으로 가정되어온 behavioral success와 representational fidelity의 등치를 통계적 가설검정으로 명확히 반박하는 중요한 연구로, interpretability 및 alignment 평가 방법론에 실질적인 경각심과 새로운 검증 표준을 제시한다.