Batch Effects In Brain Foundation Model Embeddings

Motivation

• Known: Transformer 기반 뇌영상 foundation model(BrainLM, SwiFT 등)이 fMRI의 복잡한 spatiotemporal 구조를 end-to-end로 학습하는 유망한 접근법으로 부상했으며, zero-shot generalization에 활용 가능하다는 선행 연구가 존재한다. 또한 multi-site 신경영상 연구에서 scanner, acquisition protocol 차이로 인한 batch/site effect가 오랫동안 주요 confounder로 인식되어 왔고, ComBat, CovBat 등의 harmonization 기법이 제안되어 왔다.
• Gap: 기존 연구들은 foundation model embedding의 zero-shot 활용 가능성에 주목했지만, 이러한 embedding이 실제로 생물학적으로 의미 있는 신호를 포착하는지, 아니면 batch/site 같은 confounding factor에 의해 좌우되는지는 충분히 규명되지 않았다.
• Why: Foundation model embedding이 batch effect를 shortcut으로 활용해 높은 downstream 성능을 보일 수 있다면, 이는 실제 임상적으로 유의미한 패턴을 학습한 것이 아닐 수 있으며, 나아가 embedding에 담긴 batch 정보가 민감한 메타데이터를 노출시켜 프라이버시 및 데이터 공유 문제를 야기할 수 있다는 점에서 중요하다.
• Approach: 본 논문은 BrainLM과 SwiFT 두 뇌영상 foundation model의 embedding을 여러 multi-site fMRI 데이터셋에 대해 종합적인 평가 프레임워크로 분석하고, harmonization이 이 embedding에 미치는 영향과 모델별 해석 가능한 특성 차이를 조사한다.

Achievement

Figure 3. Visualization of subject-level embeddings extracted from the pre-trained BrainLM model. In the last row, embed

1. Batch effect 지배 현상 규명: BrainLM과 SwiFT의 embedding이 heterogeneous multi-site fMRI 데이터셋에서 diagnosis 관련 정보보다 batch(site) 관련 변동성을 훨씬 더 강하게 인코딩함을 실증적으로 보임.
2. Harmonization 효과 분석: ComBat 등 harmonization 기법을 embedding에 적용했을 때 batch effect는 완화되지만, 임상적으로 의미 있는 신호가 반드시 강화되지는 않는다는 점을 확인.
3. 모델 아키텍처별 해석 가능성 차이 발견: BrainLM은 fine-grained regional activity(예: ALFF 유사 특성)를 선호해서 포착하는 반면, SwiFT는 region 간 interaction(functional connectivity 유사 특성)을 더 잘 표현하며, 이는 각 모델의 아키텍처(ROI 기반 vs voxel 기반 transformer)와 일치함.

How

Figure 1. Overview of the fMRI representation pipeline using foundation models. fMRI scans are encoded into low-dimensio

• BrainLM(ROI 기반 masked autoencoding transformer)과 SwiFT(voxel 기반 hierarchical local/global attention transformer) 두 foundation model에서 fMRI scan을 subject-level embedding으로 인코딩
• PCA, LDA 등 dimensionality reduction 기법으로 embedding을 시각화하여 batch(site)와 diagnosis 그룹 간 구조적 분리를 관찰
• 여러 multi-site fMRI 데이터셋에 걸쳐 batch-related variability와 diagnosis-related information 간의 상대적 강도를 정량적으로 비교하는 평가 프레임워크 구축
• ComBat 계열의 harmonization 기법을 embedding에 적용한 후 embedding의 변화 및 downstream 신호 보존 여부를 평가
• ALFF(regional activity), FNC(functional connectivity) 등 전통적 신경영상 특성과 foundation model embedding 간의 상관성을 비교하여 모델별로 어떤 생물학적 특성이 강조되는지 해석

Originality

• 기존에는 개별 foundation model의 성능이나 zero-shot 활용 가능성에 초점을 맞췄으나, 본 연구는 embedding 내부에 존재하는 batch effect라는 confounding 구조를 정면으로 분석한 최초의 체계적 시도 중 하나임
• 두 개의 서로 다른 아키텍처(ROI 기반 vs voxel 기반)를 비교하여 아키텍처 차이가 embedding이 포착하는 생물학적 특성(regional activity vs functional connectivity)에 어떻게 반영되는지 연결지은 점이 독창적임
• Harmonization이 batch effect는 줄이지만 임상적 신호를 반드시 강화하지 않는다는, 기존의 harmonization 효과에 대한 통념에 의문을 제기하는 실증적 결과를 제시함

Limitation & Further Study

• 두 종류의 foundation model(BrainLM, SwiFT)만을 대상으로 했으며, 더 다양한 최신 뇌영상 foundation model(예: graph transformer 계열, 4DfCF 등)로 일반화 가능한지는 추가 검증이 필요함
• Batch effect와 진단 정보를 분리(disentangle)하는 구체적인 방법론적 해법은 제시하지 않고 문제 제기와 현상 분석에 그침
• Harmonization 기법도 ComBat 계열 위주로 검토되어, 최신 deep learning 기반 harmonization 기법과의 비교가 부족할 수 있음
• 후속 연구로 batch/site 정보와 생물학적으로 의미 있는 신호를 명시적으로 disentangle하는 representation learning 기법 개발이 필요함

Evaluation

총평: 뇌영상 foundation model embedding에 내재된 batch effect 문제를 체계적으로 드러내고 모델 아키텍처에 따른 해석 가능성 차이까지 규명한 시의적절하고 중요한 실증 연구이나, 구체적인 해결책 제시보다는 문제 진단에 초점이 맞춰져 있어 후속 연구의 필요성을 남긴다.