Fine-grained Analysis of Brain-LLM Alignment through Input Attribution

Motivation

• Known: 기존 연구들은 LLM의 활성화와 인간 뇌 활동 사이에 유의미한 alignment가 존재함을 보였으며, 일부 연구는 NWP 성능이 BA를 주요하게 견인한다고 주장한 반면, 다른 연구들은 syntax나 semantic 정보 등 추가적 요인이 BA에 중요하다고 보고했다.
• Gap: 기존의 BA-NWP 관계 규명 연구들은 모델 표현을 perturb하거나 입력의 순서를 조작하는 coarse한 방법에 의존하여, alignment가 실제 입력 자연 자극으로부터 어떻게 발생하는지 세밀하게 해석하기 어려웠다.
• Why: BA와 NWP가 의존하는 단어 수준 특징을 세밀하게 규명하면 인간 언어처리의 계산적 원리에 대한 통찰을 얻을 수 있고, 이는 향후 LLM 개선 방향을 제시하는 데도 기여할 수 있다.
• Approach: 두 개의 자연주의적 fMRI 데이터셋과 5개의 open-source pretrained LLM(transformer, SSM, hybrid 아키텍처 포함)을 이용해, BA와 NWP 각각에 대해 word-level attribution 점수를 계산하고 이를 비교하는 end-to-end 파이프라인을 구축했다.

Achievement

Figure 2. Intersection over Union (IoU) between BA and NWP attributions considering top-attributed word sets of increasi

1. Attribution 파이프라인 제안: 기존의 correlation 기반 alignment 분석을 넘어서, brain-encoding 예측을 단어 단위로 직접 설명할 수 있는 attribution 파이프라인을 최초로 BA 설정에 통합했다.
2. BA-NWP 논쟁에 대한 실증적 검증: BA와 NWP가 서로 다른 종류의 언어 정보에 의존한다는 것을 확인했다. NWP는 국소적 syntax 단서에, BA는 semantic 및 discourse-level 특징에 더 강하게 의존한다.
3. 위치 편향(positional bias)의 세밀한 비교: word-level attribution 기반으로 BA와 NWP의 positional bias를 최초로 비교하여, NWP는 뚜렷한 primacy-recency 피크를 보이는 반면 BA는 더 넓고 유연한 recency 통합 양상을 보임을 발견했다.
4. 아키텍처 간 일관성 확인: transformer, state-space model(SSM), hybrid 모델들이 동일한 attribution 패턴을 공유함을 보여, 발견된 현상이 특정 아키텍처에 국한되지 않음을 입증했다.

How

Figure 1. Overview of the attribution pipeline for BA and NWP. The BA pipeline (pink) extracts token embeddings for the

• Wehbe et al. (2014a)의 Harry Potter 챕터 9 fMRI 데이터셋(8명 피험자, 5176단어, TR=2초) 등 두 개의 공개 자연주의적 fMRI 데이터셋 사용
• 5개의 open-source pretrained LLM(transformer, SSM, hybrid 포함)에서 토큰 임베딩을 추출해 TR 단위로 집계 후 brain prediction head에 입력
• BA 파이프라인: 예측된 뇌 활동과 실제 기록된 뇌 활동 간 mean squared error에 대해 attribution method 적용
• NWP 파이프라인: 동일 입력을 사용해 language modeling head로 다음 단어를 예측하고, cross-entropy loss에 대해 attribution 계산
• 토큰 수준 attribution을 단어 수준으로 집계(aggregate)하여 BA와 NWP 간 직접 비교 가능하게 함
• Intersection over Union(IoU), top-attributed unique words 개수, linguistic feature category(semantic/syntactic/discourse) 분포, top-60% 영향력 단어의 위치 분포 등을 분석 지표로 활용

Originality

• 기존의 perturbation 기반 또는 입력 순서 조작 기반 접근과 달리, 확립된 attribution 방법론을 brain-LLM alignment 설정에 최초로 통합한 파이프라인 제안
• 기존 attribution 연구(Russo et al., Rahimi et al.)가 NWP attribution을 뇌 활동 예측의 입력 특징으로 사용한 것과 달리, 본 연구는 LLM layer embedding으로 뇌 활동을 예측한 뒤 이를 end-to-end attribution framework로 설명하는 역방향 접근을 취함
• BA와 NWP의 attribution overlap, spread, positional pattern, linguistic feature composition을 종합적으로 비교하는 최초의 word-level 프레임워크 제시
• transformer뿐 아니라 SSM과 hybrid 모델까지 포함해 attribution 패턴의 아키텍처 간 일반성을 검증

Limitation & Further Study

• 사용된 fMRI 데이터셋이 두 개의 자연주의적 서사 텍스트(예: Harry Potter)에 국한되어 있어, 다른 장르나 언어, 과제 유형에 대한 일반화 가능성이 제한적일 수 있음
• discourse 및 semantic 정보에 대한 annotation이 특정 기준(캐릭터 이름, 행동 동사, 발화 동사 등)에 의존하므로, 더 넓은 범위의 pragmatic reasoning이나 discourse coherence 같은 functional competence 요소는 다루지 못함
• attribution method 자체의 신뢰성(예: 여러 attribution 기법 간 일관성) 및 다양한 뇌 영역별 세분화된 분석의 부재가 후속 연구 과제로 남음
• 5개 오픈소스 LLM에 한정되어 있어, 초대형 상용 모델이나 멀티모달 모델로의 확장 여부는 검증되지 않음

Evaluation

총평: brain-LLM alignment 연구에 attribution 기반의 세밀한 분석 도구를 도입하여 BA와 NWP의 관계에 대한 오랜 논쟁에 실증적 증거를 제공한 의미 있는 연구로, 향후 다양한 언어처리 과제의 인지적 관련성을 탐구하는 데 폭넓게 활용될 수 있는 방법론적 기여가 크다.