Alignment between Brains and AI: Evidence for Convergent Evolution across Modalities, Scales and Training Trajectories

Motivation

• Known: 기존 연구들은 CNN이 영장류 시각 피질의 계층적 처리와, transformer 기반 언어 모델이 인간 언어 처리 영역과 표현적 유사성을 보인다는 것을 개별적으로 보여왔다.
• Gap: 선행 연구들은 단일 모달리티 분석에 국한되고, 좁은 피질 영역만 검토했으며, 정적인 모델 체크포인트에 의존하여 학습 중 표현의 진화를 포착하지 못했다는 세 가지 한계가 있었다.
• Why: brain-AI alignment이 학습 및 성능 향상과 인과적·시간적으로 어떤 관계를 갖는지, 그리고 모달리티에 따라 보편적 원리로 수렴하는지 특이적으로 조직화되는지를 밝히는 것은 지능 이해와 안전하고 해석 가능한 AI 설계에 근본적으로 중요하다.
• Approach: convergent evolution 가설을 검증하기 위해, 630개 AI 모델(36개 LLM, 594개 vision 모델)의 layer별 활성화를 NSD fMRI 데이터와 Centered Kernel Alignment(CKA)로 비교하고, 종단적 학습 궤적과 양방향 Granger causality 검정을 결합해 정렬과 성능 간 시간적 선후관계를 분석했다.

Achievement

1. 모달리티 내 성능-정렬 상관관계 확인: 언어 모델(r=0.89)과 비전 모델(r=0.53)에서 성능이 높을수록 뇌와의 표현적 정렬이 자발적으로 강해짐을 보였다.
2. 시간적 선후관계 규명: 종단 분석과 양방향 Granger 검정을 통해 과거의 brain alignment가 미래의 성능을 예측하는 정도가 그 반대보다 더 강함을 밝혀, brain-like 표현이 학습의 초기 발현 지표임을 제시했다.
3. 모달리티 특이적 조직화 발견: 언어 모델은 limbic 및 통합 영역과, 비전 모델은 시각 피질 계층과 각각 정렬되는 구별된 패턴을 확인했다.
4. 초대규모 정렬 데이터셋 구축: 630개 모델과 4명의 NSD 피험자를 아우르는 6천만 건 이상의 CKA 정렬 측정치를 생성해, 규모·모달리티·학습 궤적을 포괄하는 최대 규모의 brain-AI alignment 분석을 수행했다.

How

• Natural Scenes Dataset(NSD)의 fMRI 데이터(4명 피험자, COCO 이미지 및 캡션 기반)를 뇌 활동 기준으로 사용
• 36개 LLM(Qwen, Llama, Gemma, Mistral, Phi 등)과 594개 vision 모델(CNN, Transformer, hybrid 아키텍처)의 layer별 활성화를 추출
• Centered Kernel Alignment(CKA)를 RBF kernel 기반 HSIC로 계산하여 여러 kernel size에서 표현 유사도를 측정
• 피질 영역은 HCP MMP1 parcellation(180개 영역)으로 정의하고 Yeo-7 functional network 분류로 그룹화
• Pythia(70M-2.8B) 언어 모델 계열과 MixNet(S-XL) 비전 모델 계열의 학습 체크포인트를 종단적으로 추적하여 alignment의 시간적 변화를 분석
• LLM Leaderboard 2(BBH, MMLU-PRO, Chatbot Arena)와 ImageNet 및 변형 벤치마크(ImageNet-A/R/Sketch)로 모델 성능을 평가하고 alignment와의 상관관계 산출
• 양방향 Granger causality test로 alignment와 성능 사이의 시간적 선후 인과관계 검증

Originality

• 언어와 비전 두 모달리티를 동시에, 630개라는 전례 없는 규모의 모델 집합에 대해 brain alignment를 비교한 최초의 종합적 시도
• 정적 스냅샷이 아닌 학습 궤적 전체를 추적하여 alignment의 시간적 발생 순서를 Granger causality로 검증한 방법론적 참신성
• convergent evolution이라는 진화생물학적 프레임을 인공지능-뇌 정렬 문제에 적용하여 해석적 틀을 제공

Limitation & Further Study

• 언어 모델의 입력이 이미지에서 유도된 캡션이므로, 언어 모델의 alignment 결과는 진정한 교차 모달 비교라기보다 시각-의미적 정렬을 반영하는 것으로 해석에 주의가 필요하다
• fMRI는 4명의 피험자에 국한되어 개인차 및 일반화 가능성에 한계가 있을 수 있다
• Granger causality는 상관적 시간 선후관계를 보여줄 뿐 진정한 인과 메커니즘을 규명하지는 못하며, 향후 개입적(interventional) 실험 설계가 필요하다
• CKA 기반 정렬 측정은 특정 커널 선택과 차원 축소 방식에 민감할 수 있어 다른 유사도 척도와의 교차검증이 요구된다

Evaluation

총평: 대규모·다중 모달리티·종단적 설계를 결합해 brain-AI alignment 연구의 범위를 크게 확장한 인상적인 연구로, convergent evolution 가설에 대한 강력한 실증적 근거를 제시하지만 인과관계 해석과 캡션 기반 언어 정렬의 한계에 대한 신중한 접근이 필요하다.