Mind the State: Towards Unified, Context-Aware EEG-to-fMRI Synthesis

Motivation

• Known: EEG는 시간 해상도가 높지만 공간 해상도가 낮고 deep-brain circuit 측정에 한계가 있는 반면, fMRI는 BOLD 신호를 통해 뇌 전체의 공간적 활동을 측정할 수 있으나 비용과 접근성 문제가 있어, 딥러닝을 이용한 EEG-to-fMRI translation 연구가 활발히 진행되어 왔다.
• Gap: 기존 EEG-to-fMRI 변환 방법(NeuroBOLT, CATD 등)은 region-specific 모델에 의존하거나 cortex 표면에만 국한되며, subject-level 및 dataset-level 이질성(연령, 성별, vigilance 등 생리 상태 변화)을 반영하지 못해 일반화 성능이 제한적이고, 학습 도메인 밖에서의 평가가 부족하다.
• Why: Eyes-closed resting-state 조건에서 whole-brain(피질+피질하) fMRI를 EEG만으로 안정적으로 재구성할 수 있다면, 저비용·비침습적 EEG만으로 임상 및 연구 환경에서 확장 가능한 뇌 모니터링이 가능해져 fMRI 접근성 한계를 극복하는 새로운 패러다임을 열 수 있다.
• Approach: 저자들은 (1) 대규모 unpaired fMRI 데이터에 대한 self-supervised masked signal modeling으로 fMRI 표현을 사전학습하고, (2) context-aware EEG encoder를 통해 EEG를 이 fMRI latent space에 정렬시켜 사전학습된 decoder로 fMRI를 재구성하는 two-stage 프레임워크를 제안한다.

Achievement

Figure 4. Zero-shot cross-dataset fMRI reconstruction. (A–G) Zero-shot rest-to-task transfer results: (A, D, E) Predicti

1. Whole-brain EEG-to-fMRI synthesis: 수백 개의 functional region을 포괄하는 단일 모델로 cortical 및 subcortical 영역 모두를 포함한 fMRI 활동을 EEG로부터 재구성하는 데 성공했다.
2. Context-aware EEG encoding: prefix prompt token을 도입하여 subject-level 및 dataset-level metadata(인구통계, 생리 상태 등)를 인코딩함으로써 이질적 데이터셋에 대해 단일 모델로 통합 학습이 가능함을 보였다.
3. Vigilance-aware 성능 개선: vigilance embedding을 추가함으로써 eyes-closed resting-state 조건에서의 재구성 성능이 향상됨을 입증했다.
4. Zero-shot 일반화: task-based fMRI 및 다른 데이터셋에 대해 zero-shot으로 전이 가능한 성능을 보여, 임상 집단으로의 확장 가능성을 시사했다.

How

Figure 1. Overall framework. (A) Stage 1: Masked signal modeling on fMRI frames. (B) Stage 2: EEG-to-fMRI mapping. The

• Stage 1 (fMRI Pretraining): 대규모 unpaired fMRI 데이터를 사용해 ROI-level 프레임 단위로 self-supervised masked modeling을 수행, 마스킹된 뇌 영역을 가시적 context로부터 복원하도록 학습하여 co-activation pattern(CAP)에 기반한 순간적 spatial dependency를 포착하는 fMRI encoder-decoder를 학습한다.
• Stage 2 (Cross-modal Alignment): context-aware EEG encoder가 EEG의 시간적/스펙트럼적 특징을 사전학습된 fMRI latent space로 투영하며, subject-level 및 실험 metadata를 인코딩하는 prefix prompt token을 통해 개인별 EEG-fMRI 관계의 이질성을 반영한다.
• Frame-by-frame prediction: EEG의 sliding window를 입력으로 사용해 대응하는 fMRI 프레임을 예측하며, 임의 길이의 fMRI 시퀀스 생성이 가능하도록 설계되었다.
• 평가: eyes-closed resting-state 데이터에서 cortical/subcortical ROI 시계열 재구성 및 whole-brain functional connectivity 패턴을 평가하고, task-based fMRI 및 타 데이터셋에 대한 zero-shot 전이 성능을 검증했다.

Originality

• 기존 연구가 region-specific 모델 또는 cortical surface에 국한된 것과 달리, 사전학습된 fMRI decoder를 통해 cortical 및 subcortical을 포함한 whole-brain을 단일 모델로 재구성한 점.
• unpaired fMRI 데이터를 활용한 self-supervised masked modeling으로 fMRI representation을 학습해 paired EEG-fMRI 데이터 부족 문제를 완화한 two-stage 전략.
• subject-level/dataset-level 이질성(연령, 성별, vigilance 등)을 명시적으로 인코딩하는 condition-aware prompt token을 도입해 heterogeneous 데이터셋을 단일 프레임워크로 통합 학습한 점.

Limitation & Further Study

• 평가가 주로 eyes-closed resting-state 조건에 집중되어 있으며, task-based fMRI 및 임상 집단에 대한 성능은 zero-shot 시나리오로만 제한적으로 검증되어 실제 임상 적용 가능성에 대한 추가 검증이 필요하다.
• ROI-level 재구성 방식은 계산 효율성과 SNR 측면에서 장점이 있으나 voxel-wise 세부 공간 정보를 상실할 수 있어, 미세한 국소적 활동 패턴 해석에는 한계가 있을 수 있다.
• vigilance 등 생리적 상태 embedding이 실제로 어떤 메커니즘으로 EEG-fMRI 매핑을 개선하는지에 대한 심층적 해석(예: 신경생리학적 검증)이 부족하다.
• 후속 연구로는 다양한 임상 집단(예: 뇌전증, 수면장애) 및 다기관 데이터셋에서의 실제 적용 가능성 검증, 그리고 voxel-level 또는 surface-level 확장이 필요하다.

Evaluation

총평: EEG-to-fMRI 변환을 whole-brain, 다중 subject/dataset 조건에서 통합적으로 다루는 최초의 시도 중 하나로, 사전학습된 fMRI decoder와 context-aware prompt를 결합한 설계가 참신하고 실용적 가치가 크다. 다만 임상 적용을 위한 추가적인 실증 및 해석적 분석이 뒷받침되어야 할 것이다.