Abstraction Induces the Brain Alignment of Language and Speech Models

Motivation

• Known: LLM과 음성 오디오 모델의 중간층 hidden states가 fMRI/ECoG로 측정된 자연어 자극에 대한 뇌 반응을 선형 변환만으로 잘 예측한다는 것은 여러 연구에서 반복적으로 확인되어 왔다. 또한 Ansuini et al., Valeriani et al., Cheng et al. 등의 연구에서 vision, language, protein 모델 모두에서 층별 intrinsic dimension이 중간층에서 정점을 이루는 현상이 관찰되었고, 이 정점이 추상적 언어 특징 구축 시점과 일치한다는 것도 알려져 있다.
• Gap: 그러나 왜 output layer가 아니라 intermediate layer가 이러한 전이 과제에 가장 효과적인지, 그리고 이 model-brain 유사성이 predictive coding과 같은 공유된 학습 목표 때문인지 아니면 단순히 풍부한 표현이 자연어 통계 구조를 우연히 포착한 결과인지에 대한 근본적 이유는 거의 밝혀지지 않았다.
• Why: 뇌-모델 정렬의 근본 원인을 규명하는 것은 언어 모델을 인지과학적 도구로 활용하는 데 필수적이며, next-word prediction이라는 학습 목표 자체보다 의미 추상화 능력이 핵심 동인임을 밝히면 향후 뇌 정렬을 높이기 위한 모델 설계·훈련 전략에 중요한 시사점을 제공한다.
• Approach: 저자들은 LLM과 speech model의 layerwise intrinsic dimension(Id)이 fMRI/ECoG 기반 encoding performance를 얼마나 잘 예측하는지 분석하고, pre-training 및 brain-tuning(finetuning) 과정에서 Id와 의미적 내용(semantic content), 뇌 예측력이 함께 변화하는지를 인과적으로 검증하는 접근을 취했다.

Achievement

Figure 5. Increasing encoding performance by finetuning increases semantic content and Id. Finetuning WavLM layer 9 on v

1. 층별 상관 규명: 모델의 각 층의 intrinsic dimension이 해당 층의 fMRI 및 ECoG 신호 예측 성능과 강하게 상관됨을 보였다.
2. 의미 추상화 지점과 뇌 예측력의 일치: intrinsic dimension이 정점을 이루는 중간층이 higher-order linguistic feature를 구축하는 층이며, 동시에 이 층이 뇌 신호 예측에도 최적임을 layerwise probing으로 확인했다.
3. Pre-training 동역학: 사전학습이 진행됨에 따라 intrinsic dimension과 encoding performance가 언어 능력 발달과 함께 동반 상승함을 보여, 두 지표 간 관계가 학습 과정에서 발생함을 입증했다.
4. 인과적 검증(Finetuning): 뇌 반응을 더 잘 예측하도록 모델을 finetuning하면 표현의 intrinsic dimension과 의미적 내용이 인과적으로 함께 증가함을 실험적으로 확인했다.
5. Speech 모델로의 확장: 기존 언어 모델에서 관찰된 Id-peak 및 abstraction 현상을 음성 오디오 모델까지 확장하여 일반성을 입증했다.

How

Figure 3. Semantic decodability coalesces near the Id peak.

• 신경 반응 데이터: LeBel et al. (2023)의 fMRI 데이터(3명 피험자, 팟캐스트 스토리 청취, 약 90,000 voxel)와 Zada et al. (2025)의 ECoG "Podcast" 데이터셋(9명 피험자, 30분 팟캐스트) 사용.
• Encoding 성능 측정: LLM 또는 speech model의 표현에서 뇌 활동으로의 affine map을 학습해 예측 성능을 산출.
• Intrinsic dimension 측정: 모델의 각 층에서 in-distribution 일반 데이터(예: The Pile)를 기반으로 layerwise Id를 계산해 feature complexity를 정량화.
• Layerwise probing: Id와 층에서 표현되는 언어적 특징 간의 관계를 연결하기 위해 각 층에서 probing 실험을 수행.
• Pre-training 및 Finetuning 분석: 사전학습 과정 전반에 걸쳐 Id와 encoding performance의 공진화를 추적하고, 뇌 신호 예측을 목표로 한 finetuning("brain-tuning")이 Id와 semantic content에 미치는 인과적 영향을 검증.

Originality

• next-word prediction이라는 목표 함수 자체보다 intrinsic dimension으로 측정되는 의미 추상화 정도가 model-brain 유사성의 핵심 동인이라는 새로운 인과적 가설을 제시함.
• 기존 vision/language 도메인에 국한되었던 intrinsic dimension 정점 현상을 speech audio model로 확장하여 일반성을 입증함.
• 기존 연구(Elmoznino & Bonner, Tuckute et al., Canatar et al.)가 사용한 linear effective dimension 대신 intrinsic dimension을 사용하고, 특정 자극이 아닌 일반 in-distribution 데이터로 측정해 모델의 일반적 층 기능을 나타내는 지표로 재해석함.
• Id를 뇌 예측력의 원인으로 직접 취급하기보다, 학습된 언어 구조의 프록시로 해석하는 이론적 관점의 차별화.

Limitation & Further Study

• 분석이 특정 fMRI(3명 피험자)와 ECoG(9명 피험자, 단일 30분 팟캐스트) 데이터셋에 의존하고 있어, 다양한 언어·자극·과제에 대한 일반화 가능성이 제한적일 수 있다.
• intrinsic dimension 측정 방법론 자체의 선택(추정 알고리즘, in-distribution 데이터 선택)이 결과에 미치는 민감도에 대한 추가 검증이 필요하다.
• finetuning을 통한 인과성 입증이 특정 모델 아키텍처(예: OPT-1.3b, 특정 speech model)에 국한되어 있어, 더 다양한 아키텍처와 스케일에서의 재현이 요구된다.
• 언어 모델링이 의미 추상화를 요구하는 유일한 과제는 아닐 수 있다는 저자들의 언급대로, 다른 학습 목표(예: contrastive learning, multimodal objective)에서도 유사한 현상이 나타나는지 후속 연구가 필요하다.

Evaluation

총평: 모델-뇌 정렬 현상의 근본 원인을 intrinsic dimension이라는 정량적 지표와 의미 추상화 개념으로 설명하며 상관관계를 넘어 인과적 증거까지 제시한 견고하고 통찰력 있는 연구이다. 언어 및 음성 모델 전반에 걸친 일반화와 다각적 실험 설계가 돋보이나, 데이터셋의 다양성과 아키텍처 일반화 측면에서 추가 검증이 필요하다.