Omni-fMRI: A Universal Atlas-Free fMRI Foundation Model

Motivation

• Known: 기존 fMRI foundation model들은 ROI 기반 parcellation이나 shifted-window 기반 hierarchical Transformer(NeuroSTORM 등)를 사용하여 voxel-level 4D fMRI를 처리 가능한 형태로 축소해 왔으며, 이는 self-supervised learning을 통해 downstream task 전반에서 향상된 transferability를 보여주었다.
• Gap: predefined parcellation은 fine-grained voxel 정보를 손실시키고 group-level atlas로 인한 개인 간 misalignment 및 atlas-dependent bias를 유발하며, 기존의 shifted-window 방식은 long-range functional dependency 포착이 어렵고 배경 영역을 효율적으로 배제하지 못하며 고정된 patch merging으로 인해 중요한 신호가 과도하게 downsampling되는 한계가 있다.
• Why: atlas-free하면서도 계산적으로 확장 가능한 voxel-level foundation model은 개인별 뇌 기능 변이를 보존하면서 대규모 pretraining과 공정한 벤치마킹을 동시에 가능하게 하여 fMRI 표현학습 분야의 재현성과 일반화 성능을 근본적으로 개선할 수 있다.
• Approach: Omni-fMRI는 spatiotemporal complexity map을 기반으로 배경을 pruning하고 국소적 신호 변이도에 따라 coarse 혹은 fine patch를 동적으로 할당하는 dynamic patching과 dual-path multi-scale embedding, scale-aware reconstruction으로 구성된 masked autoencoding 프레임워크를 제안한다.

Achievement

Figure 3. 23-way HCP Task Accuracy under different few-shot

1. Atlas-free voxel-level foundation model: dynamic patching을 통해 token sequence 길이를 약 14K에서 4.3K로 대폭 축소하면서도 표준 ViT 아키텍처를 사용해 대규모 모델 학습을 wall-clock 시간 단축과 함께 가능하게 함.
2. State-of-the-art 성능: 다양한 resting-state 및 task-based downstream task에서 기존 foundation model 대비 일관되게 우수한 성능을 보였으며, linear probing만으로도 여러 기존 모델의 full fine-tuning 결과를 능가함.
3. 재현 가능한 벤치마크 구축: 11개 데이터셋과 16개 downstream task를 아우르는 표준화된 평가 프로토콜과 실험 로그, test subject ID를 공개하여 공정한 비교를 지원함.

How

Figure 2. Overview of the Omni-fMRI Pre-training Framework. (a) The proposed masked autoencoder architecture leverages a

• Content-Adaptive Patch Allocation: spatiotemporal complexity map을 계산하여 non-informative 배경 영역을 pruning하고, Complexity Gate를 통해 국소 신호 변이도에 따라 foreground 영역에 coarse 또는 fine patch를 동적으로 할당
• Dual-Path Multi-Scale Embedding: fine patch는 직접 projection, coarse patch는 Zero-initialized MLP(ZeroMLP)를 활용한 residual branch로 high-frequency 구조 정보를 융합하여 이질적인 patch를 통일된 latent space로 정렬
• Scale-Aware Reconstruction: latent token을 scale-specific prediction head로 라우팅하여 각 해상도에 맞는 MLP로 voxel을 복원
• 9개 데이터셋, 49,497개 fMRI session에 대한 masked autoencoding 기반 self-supervised pretraining 수행
• 11개 데이터셋, 16개 downstream task로 구성된 벤치마크에서 few-shot, linear probing, data scaling 실험을 통해 성능 검증

Originality

• 기존 atlas 기반 혹은 shifted-window 기반 접근과 달리 voxel-level 신호를 직접 처리하면서도 계산 효율성을 확보하는 content-adaptive dynamic patching을 최초로 제안
• 배경 pruning과 지역별 신호 복잡도 기반 patch 크기 조절을 결합한 hybrid tokenization 전략으로 long-range dependency와 계산 효율성을 동시에 해결
• 표준화된 대규모 벤치마크(11개 데이터셋, 16개 task)와 완전한 재현성(실험 로그, test subject ID 공개)을 제공하여 fMRI foundation model 커뮤니티의 공정한 비교 기반을 마련

Limitation & Further Study

• dynamic patching의 complexity map 산출 및 gate 설계가 특정 신호 특성이나 노이즈에 민감할 수 있어, 다양한 스캐너/프로토콜 환경에서의 강건성 검증이 추가로 필요
• 논문 발췌에서는 정성적 해석(예: Figure 5의 brain region 시각화)이 임상적/신경과학적 타당성 검증과 충분히 연결되었는지 확인이 어려움
• 9개 pretraining 데이터셋과 11개 벤치마크 데이터셋 간 중복 여부 및 subject-level data leakage 가능성에 대한 명확한 검증 필요
• 후속 연구로는 개인별(subject-specific) 적응 메커니즘과 결합하거나, 더 다양한 임상 집단·질환 예측 과제로의 확장이 기대됨

Evaluation

총평: atlas 의존성을 제거하면서도 계산적으로 확장 가능한 voxel-level fMRI foundation model을 제안하고 대규모 재현 가능한 벤치마크를 함께 제공한 점에서 실용적, 방법론적 기여가 크며, fMRI 표현학습 분야의 표준을 재정립할 잠재력이 있는 연구이다.