Real-World Unsupervised Models Generalize to Predict Brain Responses to Out-of-Distribution Stimuli

Motivation

• Known: DNN은 현재 감각 피질 반응을 예측하는 최고 성능의 계산 모델이며, 아키텍처(예: Transformer)와 objective(비지도 학습이 생물학적으로 더 타당하다는 컨센서스) 측면에서 많은 연구가 이루어졌다.
• Gap: 그러나 대부분의 뇌 예측 모델은 ImageNet, LibriSpeech와 같이 인위적으로 정제(curated)된 데이터셋으로 학습되며, 이는 실제 환경의 skewed density, 가변 contrast, 열화된 신호 품질 같은 통계적 특성을 반영하지 못한다. 또한 기존 연구(Zhuang et al. 2021; Li et al. 2023)는 실제 세계 데이터로 학습된 모델이 정제된 데이터 모델보다 오히려 낮은 예측 성능을 보이거나 out-of-distribution 자극에 대한 일반화에 실패함을 보고해, 실제 세계 비지도 학습 모델의 일반화 가능성이 미지수로 남아 있었다.
• Why: 감각 발달의 생물학적으로 타당한 계산 모델을 구축하려면 supervised label-efficiency 문제와 curated 데이터의 비현실성을 동시에 해결해야 하며, 이 연구는 architecture, objective, data 세 축 중 data distribution이 뇌 정합성의 핵심 요인임을 규명함으로써 신경 표상을 형성하는 실제 세계 통계량을 드러내는 새로운 방법론적 틀을 제공한다.
• Approach: 저자들은 청각(LibriSpeech vs WenetSpeech)과 시각(ImageNet vs CamSAY/infant head-cam) 도메인에서 curated 데이터와 real-world 데이터로 각각 학습된 supervised·unsupervised 모델들을 동일한 자극 세트(everyday sounds, everyday visual objects)에 대해 비교하고, 이 활성화를 사람 fMRI 반응과 정합시켜 예측 정확도를 평가했다.

Achievement

Figure 2. Brain prediction accuracy. Explained variance (r2) was

1. 비지도 실제 세계 모델의 우위 입증: real-world 데이터로 비지도 학습된 모델이 청각·시각 피질 반응 예측에서 supervised 모델을 유의하게 능가함을 최초로 입증.
2. 성능 우위의 원인 규명: 이러한 우위가 네트워크 아키텍처나 데이터셋 크기가 아니라 데이터 분포(data distribution) 자체에서 기인함을 분리하여 입증.
3. 탁월한 out-of-distribution 일반화 발견: Mandarin 음성만으로 학습된 모델이 영어 자극에 대한 뇌 반응을, infant head-cam 영상으로 학습된 모델이 성인의 curated object 이미지 반응을 정확히 예측함을 보임 (기존 연구들의 언어/도메인 특이성 실패 보고와 대비).
4. 체계적 벤치마크 제공: supervised·unsupervised 학습 패러다임과 다양한 학습 데이터 체제를 아우르는 최초의 체계적 벤치마크를 청각·시각 도메인 모두에 대해 수행.

How

Figure 4. RDMs of the auditory cortex and models. Rows display

• 청각: LibriSpeech(영어, curated)와 WenetSpeech(Mandarin, real-world)로 각각 학습된 HuBERT/Wav2Vec 2.0 계열 unsupervised 모델과 지도 학습 baseline을 비교
• 시각: ImageNet(curated)과 CamSAY(infant head-cam, real-world)로 학습된 SimCLR 계열 unsupervised 모델과 supervised 모델을 비교
• 동일한 165개의 everyday sounds 및 everyday visual objects 자극을 모델에 통과시켜 activation을 추출하고, 동일 자극에 대한 인간 fMRI 반응(청각·시각 피질)과의 explained variance(r2)를 비교
• Representational Dissimilarity Matrix(RDM) 분석을 통해 모델과 뇌의 표상 유사성(representational similarity)을 정성적으로 검증
• 언어 불일치(Mandarin↔English) 및 도메인 불일치(infant footage↔curated object images) 조건에서 out-of-distribution 일반화 성능을 평가

Originality

• 기존 연구들이 architecture와 objective 최적화에 집중한 것과 달리, 세 번째 축인 training data의 통계적 특성(real-world vs curated)을 체계적으로 분리하여 검증한 최초의 시도
• 청각과 시각 두 감각 양식에서 동시에 real-world unsupervised 학습의 우위를 입증한 교차 도메인적 접근
• Mandarin→English, infant footage→adult object image라는 이중의 극단적 out-of-distribution 조건에서 일반화를 입증하여, 기존 문헌(Li et al. 2023; Millet et al. 2022; Zhuang et al. 2021)이 보고한 일반화 실패 결과를 뒤집는 반증적 발견 제시

Limitation & Further Study

• 발췌된 abstract와 서론만으로는 fMRI 데이터의 피험자 수, 자극 다양성, 통계적 검정력 등 실험 세부사항이 충분히 검토되지 않아 일반화 가능성에 대한 추가 검증 필요
• everyday sounds/objects라는 특정 자극 세트에 국한된 결과이므로, 더 다양한 자연 자극이나 동적/시간적 맥락(비디오, 연속 발화)에 대한 일반화 여부는 추가 연구가 필요
• real-world 데이터셋(WenetSpeech, CamSAY) 자체도 특정 수집 환경에 편향되어 있을 수 있어, "진정한" 실제 세계 통계량을 대표하는지에 대한 논의가 더 필요
• 인과 관계(causal mechanism)보다는 상관적 예측 정확도에 초점이 맞춰져 있어, 왜 real-world 데이터가 뇌 정합성을 높이는지에 대한 기전적 설명(repetition suppression, contrast gain control 등)은 가설 수준에 머무름

Evaluation

총평: Architecture, objective에 이어 training data distribution이라는 세 번째 축을 체계적으로 분리해 검증하며, real-world unsupervised 학습 모델의 놀라운 out-of-distribution 일반화 성능을 입증한 점에서 감각 발달의 계산적 모델링 분야에 중요한 이정표가 되는 연구다.