Harnessing Spectrum Video for Subject-Level Few-Shot and Cross-Montage EEG Generalization

Motivation

• Known: 기존 EEG foundation model들은 channel-first 아키텍처를 채택하여 전극을 독립적이고 의미적으로 정렬된 feature로 취급하며, 대규모 self-supervised pre-training(예: Yang et al., Jiang et al., Wang et al.)을 통해 표현 학습 성능을 향상시켜 왔다. 최근 Ouahidi et al. (2025)은 전극을 공간 좌표로부터 직접 임베딩하는 접근을 제안하여 유연한 센서 표현의 필요성을 제기했다.
• Gap: 전극 개수·배치·레퍼런싱 방식의 이질성(16~256채널)으로 인해 채널 인덱스가 데이터셋마다 다른 해부학적 위치를 가리키거나 아예 존재하지 않는 channel mismatch 문제가 있으며, 이를 추상화하는 통합 표현과 이를 rigorous하게 평가할 프로토콜(subject-level 적응, cross-montage 일반화)이 부재하다.
• Why: 전극 이질성과 channel-first 편향을 극복하는 layout-agnostic 표현과 엄밀한 평가 체계가 마련되면, 서로 다른 장비·프로토콜·개인 생리적 특성을 가진 실제 임상/BCI 배포 환경에서 EEG foundation model의 데이터 효율적이고 확장 가능한 일반화가 가능해진다.
• Approach: EEG를 물리적 투영 과정의 결과로 보고, 전극의 실제 좌표에 따라 시간-주파수 스펙트럼을 공간화하여 Spectrum Video(4D spectrum tensor)로 렌더링한 뒤, 이를 VideoMAE로 self-supervised pre-training하고 subject-level few-shot 및 cross-montage fine-tuning으로 평가하는 3단계 프레임워크(BSR)를 제안한다.

Achievement

Figure 4. Evaluation under the cross-montage fine-tuning and subject-level few-shot learning paradigms. The montage grou

1. Brain Signal Rendering (BSR) 제안: 전극의 물리적 좌표를 이용해 EEG 스펙트럼을 spatialize하고 dynamic image sequence로 인코딩하는 geometry-aware spatiotemporal video 표현을 도입해 neural topology를 명시적으로 보존한다.
2. Video Foundation Model Prior 전이: VideoMAE의 self-supervised pre-training과 spatiotemporal inductive bias를 활용해 EEG 데이터셋 간 변동성 속에서도 robust하고 layout-agnostic한 표현을 학습하도록 했다.
3. Cross-montage Fine-tuning 벤치마크 신설: 서로 다른 전극 구성을 가진 데이터셋 간 전이 성능을 seen/unseen channel로 분리 평가하는 최초의 엄밀한 채널 일반화 평가 프로토콜을 제시했다.
4. Subject-level Few-shot Learning 벤치마크 확립: 각 subject를 독립적 task로 취급하여 소수 calibration session만으로 빠른 적응 성능을 평가하는, EEG foundation model 평가에 최초로 이 패러다임을 적용했다.
5. 성능 우위 입증: 여러 데이터셋과 태스크에 걸친 광범위한 실험에서 BSR-VideoMAE가 기존 spectrum 기반 SOTA 방법들을 유의미하게 능가함을 보였다.

How

Figure 3. Schematic of the BSR Render-Reconstruct pipeline. The renderer Rv is self-supervisedly pre-trained by reconstr

• BSR 렌더러 R_v: raw EEG로부터 FFT 기반 time-frequency spectrum F(channel × freq)를 추출하고, 전극의 물리적 위치 S에 따라 각 채널의 spectral 값을 2D 평면(H×W)에 배치, 결측 채널은 채워 넣어 4D spectrum tensor를 구성한다.
• Spectrum Video 생성: 4D spectrum tensor를 시간 축을 따라 복제/전개하고 DeConv 레이어를 거쳐 spatiotemporal spectrum video V로 변환하여, 전극 topology를 보존한 dynamic image sequence(EEG video patch)를 만든다.
• VideoMAE 기반 인코딩: 생성된 spectrum video V를 video encoder(VideoMAE)에 입력해 self-supervised pre-training(masked autoencoding)으로 도메인 갭을 줄이며 spatiotemporal 표현을 학습한다.
• Subject-level Few-shot Learning: cross-subject transfer learning 프로토콜(Li et al., 2026)을 확장하여 각 subject를 별도 task로 두고 제한된 세션으로 rapid adaptation 성능을 측정한다.
• Cross-montage Fine-tuning: SEED에서 사전학습 후 TUAB 등 전혀 다른 전극 배치를 가진 target dataset에 대해 전체 채널(FT-Ch), pre-training에서 본 채널(Only PT-Ch), 완전히 새로운 채널(w/o PT-Ch) 세 조건으로 나누어 일반화 성능을 정밀 평가한다.

Originality

• EEG를 channel-indexed feature vector가 아니라 전극 배열의 물리적 투영(카메라 시점 변화에 유비)으로 재해석하는 새로운 관점을 제시
• Spectrum Video라는 geometry-aware spatiotemporal tensor 표현을 고안하여 video foundation model(VideoMAE)의 priors를 EEG 도메인에 최초로 전이
• Cross-montage fine-tuning이라는 완전히 새로운 평가 패러다임을 도입해 seen/unseen 채널 분리 평가로 채널 일반화를 체계적으로 검증
• 기존 few-shot 프로토콜(고정 데이터 비율, within-dataset 3/8-shot)과 달리 subject를 개별 task로 취급하는 subject-level few-shot learning을 EEG foundation model 평가에 최초로 적용

Limitation & Further Study

• 발췌된 내용상 실험 데이터셋 수와 다운스트림 태스크 다양성(seizure, motor imagery, emotion 등)에 대한 구체적 정량 비교 및 통계적 유의성 검증이 충분히 제시되지 않아 일반화 주장의 강건성을 완전히 판단하기 어려움
• 전극 좌표 정보가 부정확하거나 표준화되지 않은 저자원 환경(임상 현장 등)에서 spatialization 품질에 따른 성능 저하 가능성에 대한 분석이 부족해 보임
• video foundation model(VideoMAE) pre-training에 소요되는 계산 비용 및 실시간 BCI 적용 가능성에 대한 논의가 필요
• 후속 연구로는 다양한 뇌파 도메인(수면, 인지부하 등)으로의 확장, 결측 채널 보간 방식의 개선, 그리고 더 큰 규모의 cross-dataset pre-training corpus 구축이 유망함

Evaluation

총평: EEG를 물리적 투영으로 재해석하고 video foundation model의 prior를 전이하는 아이디어와, cross-montage/subject-level few-shot이라는 엄밀한 신규 평가 프로토콜 제안이 인상적이며 실용적 기여도가 높은 연구로 판단된다.