SAEs-BrainMap: Unveiling the Emergence of Specialized Concepts in Deep Models via Brain Alignment

Motivation

• Known: Concept-based interpretability 방법은 neuron-based(Network Dissection, DnD, GCC 등)와 representation-based(VCC, SAEs 등) 방법으로 나뉘며, 이들은 특정 카테고리가 모델 내에서 어떻게 학습되는지 이해하는 데 기여해 왔다. 또한 ventral visual pathway는 V1부터 FFA, RSC, EBA 등 고차 영역까지 계층적으로 시각 개념을 형성하는 것으로 알려져 있으며, BrainSCUBA·BrainACTIV 같은 최근 연구는 model latent vector로 뇌 기능을 해석할 수 있음을 보였다.
• Gap: neuron-based 방법은 뉴런의 다의성(polysemantic nature)으로 인해 세밀한 개념 발현 위치를 특정하기 어렵고, representation-based 방법은 latent space의 불투명성과 layer 간 개념을 일관되게 추적할 probe(예: classification head) 학습의 어려움으로 semantic alignment 문제에 부딪힌다. 특히 기존 연구들은 model latent vector로 brain 기능을 해석하는 방향에 집중했을 뿐, 반대로 brain 신호를 활용해 model의 generic concept 발현 과정을 설명하는 시도는 이루어지지 않았다.
• Why: DNN, 특히 Transformer 기반 아키텍처의 내부 메커니즘을 해석하는 것은 안전이 중요하고 투명성이 요구되는 분야에서 모델을 신뢰성 있게 배포하기 위한 핵심 과제이며, 생물학적으로 검증된 뇌 신호를 objective probe로 사용함으로써 기존 해석 방법의 주관성과 한계를 극복할 수 있는 새로운 관점을 제공한다.
• Approach: layer-wise로 학습된 SAEs가 각 layer에서 monosemantic한 feature를 추출하도록 하고, 인간 fMRI의 ROI 활성 패턴과 SAEs feature 간의 cosine similarity 및 RSA(Representational Similarity Analysis)를 통해 정량적 정합성을 측정한 뒤, 이 정합성을 활용해 모델 layer를 뇌 피질(cortex)에 매핑하여 개념 발현 궤적과 모델의 전역 처리 흐름을 시각화한다.

Achievement

1. SAEs-BrainMap 프레임워크 제안: 뇌 활성화 신호를 이용해 layer-wise SAEs의 기능을 탐구하는 최초의 접근을 제시했다.
2. 정량적 뇌-모델 정합성 입증: 활성화 수준(최대 cosine similarity 0.72)과 구조적 수준(최대 RSA score 0.69) 모두에서 model SAEs feature와 brain voxel 간 강건한 표상 정합(representational alignment)을 확인했다.
3. 개념 발현 궤적 시각화: brain-model alignment를 활용해 generic concept이 layer를 거치며 어떻게 계층적으로 발현되는지 추적하고, 뇌의 계층 구조를 이용해 모델의 전역 처리 흐름(global processing flow)을 시각화했다.

How

• ViT 기반 vision model(CLIP ViT-B/16, DINOv2, MAE, ImageNet 학습 모델 등)의 각 layer 출력 embedding A에 대해 encoder-decoder 구조의 SAEs(수식 Z=ReLU(WA+b), Â=W^T Z)를 학습하여 sparse feature dictionary를 구성.
• sparsity를 유도하는 손실함수 L(A,Â,Z)=‖Â−A‖²₂+α‖Z‖₁로 layer별 SAEs를 개별 학습.
• CLS-trained SAEs와 Patch-trained SAEs 두 방식으로 feature를 추출하고, raw neuron activation과 비교.
• fMRI 데이터(S5 피험자)의 ventral visual pathway ROI(V1, V2, V3, hV4, FFA, EBA, RSC, VWFA, FOOD)별 활성 패턴과 SAEs feature activation 간 cosine similarity를 계산해 정합성을 정량화.
• Representational Similarity Analysis(RSA)를 통해 구조적 유사성을 추가로 검증.
• ROI별로 가장 상관성이 높은 feature와 layer를 선택하여 시각화하고, 모델 layer를 뇌 피질 상에 매핑하는 layer alignment를 수행.

Originality

• neuron-based/representation-based 해석 방법의 한계(다의성, semantic alignment 어려움)를 극복하기 위해, 기존에 model latent vector로 뇌를 해석하던 패러다임(BrainSCUBA 등)을 역전시켜 brain 신호를 model 해석의 objective probe로 사용하는 최초의 시도.
• SAEs를 layer별로 학습하여 monosemantic feature를 추출하고 이를 뇌 ROI 활성과 직접 정합시키는 정량적(cosine similarity, RSA) 프레임워크를 새롭게 제시.
• 뇌의 계층적 구조(ventral visual pathway)를 활용해 모델의 전역 처리 흐름을 시각화하는 novel한 해석 도구를 제공.

Limitation & Further Study

• 정합성 평가가 특정 피험자(S5) 및 제한된 ROI 집합에 국한되어 있어, 다른 피험자나 뇌 영역, 다양한 fMRI 데이터셋에 대한 일반화 가능성이 검증되지 않았다.
• 사용된 모델이 CLIP, DINOv2, MAE, ImageNet 학습 ViT 등 특정 아키텍처 계열에 한정되어 있어, CNN이나 대규모 language-vision model 등 더 다양한 아키텍처로의 확장이 필요하다.
• SAEs 학습에 사용된 sparsity hyperparameter α나 dictionary 크기 k에 대한 민감도 분석이 부족해 보이며, 후속 연구에서는 이러한 hyperparameter가 alignment 결과에 미치는 영향을 체계적으로 분석할 필요가 있다.
• brain-model alignment가 상관관계 수준에 머물러 있어, 인과적 해석(causal interpretation)으로 확장하기 위한 개입 실험(intervention experiment) 등이 후속 연구로 요구된다.

Evaluation

총평: 뇌 신호를 모델 해석의 objective probe로 활용하는 참신한 방향 전환을 제시하며, 정량적 정합성 지표(cosine similarity, RSA)를 통해 이를 실증적으로 뒷받침한 점에서 XAI와 계산 신경과학을 잇는 흥미로운 연구이나, 검증 범위(피험자·모델 다양성)의 확장과 인과적 해석으로의 발전이 향후 과제로 남는다.