PATCHCODE: Discrete Latent Predictive Learning for EEG Foundation Model

Motivation

• Known: 기존 EEG-FM들은 masked autoencoding(LaBraM, BrainWave, CBraMod), contrastive learning(BENDR, BIOT), autoregressive modeling(EEGPT, NeuroLM) 등을 통해 EEG의 낮은 SNR과 큰 피험자 간 변동성을 다루려 해왔으며, discrete tokenization(DeWave, CodeBrain)도 encoder 입력이나 재구성 타깃으로 활용되어 왔다.
• Gap: 그러나 waveform-level reconstruction은 고주파 노이즈에 과도하게 민감하고, 기존 discrete code 활용 방식은 코드를 encoder 입력이나 재구성 대상으로만 사용할 뿐 latent prediction을 위한 추상적 supervision signal로 사용하지 않아, 안정적이고 노이즈에 강건한 학습 목표를 제공하지 못한다.
• Why: EEG 신호처럼 SNR이 낮고 개체 간 변동성이 큰 도메인에서 재구성 기반 objective의 근본적 한계를 지적하고, 연속 입력과 discrete supervision을 분리하는 JEPA 스타일 학습을 EEG에 적용함으로써 더 안정적이고 전이 가능한 표현 학습 패러다임을 제시할 수 있다는 점에서 중요하다.
• Approach: 연속 EEG 패치를 encoder 입력으로 유지하되, frozen tokenizer가 생성한 discrete code를 supervision target으로 사용하는 dual-granularity(P2P/P2C/C2P) predictive learning을 Student-Teacher 구조와 JEPA-style objective로 학습한다.

Achievement

Figure 4. Data scaling analysis (balanced accuracy). Using only 10% of TUH-EEG yields 92% of full-data performance.

1. Two-Stage Decoupled Framework: discrete code discovery(Stage A, spectral supervision)와 representation learning(Stage B, JEPA-style predictive objective)을 분리하여 encoder가 연속 신호를 처리하면서 discrete supervision을 받도록 설계했다.
2. Multi-Pathway Predictive Objectives: P2P(fine-grained dynamics), P2C(categorical constraints), C2P(discrete code space로부터의 구조적 정규화)라는 세 가지 상호보완적 예측 경로를 도입해 task-adaptive inductive bias를 제공했다.
3. 광범위한 실증 평가: emotion recognition, motor imagery, sleep staging, seizure detection, vigilance estimation, stress detection, clinical diagnosis 등 7개 도메인, 16개 다운스트림 데이터셋에서 state-of-the-art 대비 경쟁력 있는 성능을 달성했으며, 특히 제한된 라벨 상황에서 데이터 효율성 측면의 두드러진 향상을 보였다.

How

Figure 1. Overview of PATCHCODE. The framework consists of two decoupled stages. Stage A trains a Region-Aware Tokenizer

• 입력 정규화: 21채널 10-20 시스템 기반 spherical spline interpolation으로 cross-dataset 정합, 0.5–45Hz bandpass filter, 200Hz resampling 수행
• Patching & Token Embedding: 1초 단위 non-overlapping patch로 분할 후 channel/time/region 정보를 additive embedding(Echan, Etime, Eregion)으로 주입
• Stage A (Region-Aware Tokenizer): Vector Quantization으로 연속 latent를 discrete code로 변환하고, 시간 영역 노이즈를 피하기 위해 FFT amplitude/phase를 예측하는 frequency-domain reconstruction과 region-wise contrastive regularizer(Lreg), EMA 기반 codebook 업데이트로 학습, 이후 tokenizer는 freeze하고 decoder는 폐기
• Stage B (Student-Teacher JEPA): Region-Bias Transformer encoder를 사용해 masked 연속 패치를 입력받아 P2P(patch representation 예측), P2C(discretized code target 정렬), C2P(discrete code로부터 patch 예측)의 세 가지 objective를 결합하여 학습하되, discrete code는 오직 supervision target으로만 사용하고 encoder 입력에는 포함되지 않음

Originality

• discrete code를 encoder 입력이나 reconstruction target이 아니라 latent prediction을 위한 순수 supervision signal로 사용하는 새로운 관점 제시
• region-aware tokenizer와 frequency-domain(FFT amplitude/phase) supervision을 결합해 EEG 특성에 맞춘 discrete code 설계
• P2P/P2C/C2P라는 세 갈래의 상호보완적 predictive pathway를 통해 continuous-discrete 표현 일관성을 동시에 강제하는 dual-granularity 학습 구조
• JEPA 패러다임을 EEG 도메인에 맞게 확장하면서 tokenizer decoder를 폐기하고 frozen codebook만 supervision에 활용하는 decoupled 2-stage 설계

Limitation & Further Study

• 발췌된 내용만으로는 Stage A와 Stage B의 상호작용에서 tokenizer의 codebook 크기, region 개수 등 하이퍼파라미터에 대한 민감도 분석이 충분히 제시되지 않아 강건성 검증이 더 필요함
• discrete code가 실제로 어떤 신경생리학적 의미를 포착하는지에 대한 해석 가능성 분석(질적 검증)이 제한적일 수 있음
• 16개 데이터셋 평가가 폭넓지만 실시간 응용이나 온라인 학습 시나리오에서의 계산 비용, latency에 대한 논의가 부족해 임상 실사용성 검증이 후속 과제로 남음
• 두 단계 학습(Stage A tokenizer 학습 + Stage B predictive learning)으로 인한 전체 학습 파이프라인의 복잡성과 튜닝 부담 증가 가능성

Evaluation

총평: EEG 사전학습에서 재구성 기반 objective의 근본적 한계를 짚고 discrete latent supervision을 결합한 JEPA 스타일 접근을 체계적으로 설계한 견실한 연구로, 다양한 다운스트림 태스크에서의 폭넓은 검증이 설득력을 더한다.