Multimodal Scaling Laws for Task & Data-Optimized Models of Visual Cortex

Motivation

• Known: Task-optimized 신경망은 감각피질을 설명하는 대표적 in-silico 모델로 자리잡았으며, 개별 연구들은 모델 스케일이나 데이터 스케일이 커질수록 뇌 정합도(brain alignment)가 향상된다는 것을 보고해왔다. 또한 딥러닝 전반에서 성능이 데이터/컴퓨트/파라미터 수에 따라 power-law 형태로 예측 가능하게 향상되는 scaling law가 잘 알려져 있다.
• Gap: 기존 NeuroAI 연구들은 서로 다른 데이터셋과 모달리티, 평가 프로토콜에 걸쳐 파편화되어 있어, pretraining, neural fine-tuning, mapping 중 무엇이 실제로 alignment 향상을 견인하는지에 대한 통일된 결론이 없었고, 이로 인해 차세대 brain model 개발을 위한 자원 배분 전략을 세우기 어려웠다.
• Why: 어떤 요인(모델 규모 확대, neural supervision, mapping 데이터 확보)이 뇌 정합 모델 개선에 가장 효율적인지 알면, 제한된 연구 자원을 어디에 투자해야 할지에 대한 실질적 지침을 제공하고, NeuroAI 분야에서 딥러닝의 scaling law에 대응하는 원칙을 확립할 수 있다.
• Approach: 저자들은 vision backbone의 pretraining, 선택적 neural fine-tuning, 그리고 frozen representation에서 뇌 반응으로의 mapping이라는 3단계 파이프라인을 8개 데이터셋과 600개 이상 모델에 일관되게 적용하여 각 축의 스케일링 효과를 통제된 방식으로 분리 분석한다.

Achievement

세 가지 핵심 scaling trend를 규명하고, 파라미터 효율적인 새로운 mapping 기법을 제안하여 실증적으로 성능을 개선했다.

How

• ResNet/ConvNeXt(convolutional), CORnet-style(recurrent), ViT-style(transformer) 등 다양한 아키텍처와 pretraining 구성(데이터/컴퓨트 규모)을 가진 600개 이상 모델을 8개 데이터셋(FZ-EP, MH-EP, TVSD-EP, T-fMRI, NSD-fMRI, T-MEG, T-EEG1, T-EEG2)에 대해 평가
• 각 데이터셋별로 noise ceiling을 추정하여 noise-normalized predictivity score로 alignment를 정량화
• Pretraining 단계에서는 모델 규모/데이터 규모에 따른 alignment 변화를 측정하여 saturation 여부 확인
• Neural fine-tuning 단계에서는 task+neural data hybrid 최적화가 여러 데이터셋/모달리티에 걸쳐 transfer되는지 검증
• Mapping 단계에서는 fitting에 사용되는 neural sample 수를 변화시켜 log-linear scaling 관계를 도출
• 여러 subject에 걸쳐 파라미터를 공유하면서도 subject-specific 출력을 유지하는 subject-shared cross-attention mapping(latent query 기반 attention probe)을 새로 제안하고 기존 linear readout과 비교

Originality

• 기존에 개별적으로 다뤄지던 pretraining scale, neural fine-tuning, mapping scale이라는 세 축을 하나의 통일된 평가 프레임워크 안에서 동시에 통제·비교한 최초의 대규모 시도
• electrophysiology, fMRI, EEG, MEG라는 이질적인 4개 recording modality를 아우르는 8개 데이터셋에 걸쳐 일관된 파이프라인으로 600개 이상 모델을 평가하여 modality-general scaling law를 도출
• 여러 subject에 걸쳐 파라미터를 공유하되 subject-specific 출력을 유지하는 novel subject-shared cross-attention mapping을 제안하여 parameter count를 크게 줄이면서 alignment를 향상

Limitation & Further Study

• 본 연구는 vision backbone과 시각피질(visual cortex)에 한정되어 있어, 청각·언어 등 다른 감각/인지 영역으로의 일반화 가능성은 검증되지 않음
• Pretraining saturation이 관찰된 스케일 범위 내에서의 결론이며, 초대규모(foundation model 수준) 모델에서도 동일한 포화 양상이 유지되는지는 추가 검증 필요
• Neural fine-tuning의 개선 폭이 "consistent하지만 moderate"하다고 언급된 만큼, 이 접근법만으로 근본적인 브레인-모델 격차를 해소하기는 어려울 수 있음
• 향후 연구로는 더 다양한 감각 모달리티, 더 큰 규모의 foundation model, 그리고 subject-shared mapping의 다른 뇌 영역/과제로의 확장이 필요함

Evaluation

총평: 여러 모달리티와 대규모 모델 zoo를 아우르는 통제된 실험을 통해 NeuroAI 분야에 오랫동안 부재했던 통일된 scaling law 프레임워크를 제시한 의미 있는 연구이며, 새로운 mapping 기법 제안까지 더해 실용적 가치도 높다.