NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding

Motivation

• Known: 두개내 뇌전도(iEEG) 기반 foundation model들은 대규모 비지도 데이터를 통해 일반화 가능한 신경 표현을 학습하는 데 성공을 거두어 왔으며, channel-level tokenization이나 PopT처럼 전체 채널을 단일 brain-level [CLS] token으로 집계하는 방식, BaRISTA처럼 사전정의된 brain atlas 기반 해부학적 prior를 사용하는 방식 등이 제안되어 왔다.
• Gap: 기존 방법들은 정적이고 사전정의된 prior(해부학적 atlas나 고정된 attention 패턴)에 의존하여 공간적 상호작용을 구조화하는데, 이는 뇌의 기능적으로 응집된 신경 집단이 동적이고 과제 특이적이며 반드시 해부학적 경계와 일치하지 않는다는 점을 간과한다. 즉, 데이터로부터 자율적으로 기능적 신경 조합(functional assembly)을 발견하는 메커니즘이 부재하여 foundation model의 효율성과 해석가능성이 제한된다.
• Why: 뇌의 내재적 기능적 모듈성(functional modularity)을 명시적으로 반영한 표현 학습은 speech perception, speech production, seizure detection 등 다양한 임상 및 신경과학적 뇌-컴퓨터 인터페이스(BCI) 응용에서 디코딩 성능과 해석가능성을 동시에 향상시킬 수 있는 핵심 과제이다.
• Approach: NeuroCLUS는 기능적 맥락 예측(functional context prediction) 과제로 채널 간 기능적 의존성 그래프를 비지도로 학습한 뒤, 이 그래프를 활용해 채널들을 K개의 학습가능한 prototype token으로 소프트 클러스터링함으로써, transformer backbone이 원시 채널이 아닌 응집된 기능적 단위(functional unit)를 처리하도록 하는 2단계 사전학습 프레임워크를 제안한다.

Achievement

Figure 5. Visualization of Functional Context Prediction. (a). The convergence curve of functional context loss. (b). Th

1. 최초의 기능-클러스터 기반 foundation model: NeuroCLUS는 데이터 기반 functional cluster로 iEEG 신호를 토큰화하는 최초의 foundation model로, 2단계의 functional-context-guided 사전학습 전략을 제안한다.
2. 함수 기반 표현 학습: 해부학적 휴리스틱을 넘어, 추정된 채널 간 의존성(inter-channel dependency)에 기반해 기능적 모듈을 발견함으로써 뇌의 기능적 조직을 더 잘 반영하는 표현을 얻는다.
3. 최첨단(SOTA) 및 일반화 성능: Brain Treebank(speech perception), Du-IN(speech production), SWEC & MAYO & FNUSA(seizure detection) 등 다양한 디코딩 패러다임과 데이터셋에서 새로운 SOTA를 달성하며 강한 일반화 성능을 보인다.

How

Figure 1. Overview of NeuroCLUS framework. (a). Functional Context Pre-training. We train a channel-level iEEG foundatio

• Stage 1: 다중 채널 iEEG 신호 X∈R^(C×T)를 patch tokenizer(Conv1D, GroupNorm, GELU)로 토큰화한 후, spatial-temporal transformer(temporal transformer + spatial transformer)를 통해 처리
• Assran et al. (2023) 스타일의 latent space에서의 replaced functional context를 구별하는 자기지도 목적함수인 functional context prediction(손실 L_ctx)을 통해, EMA 기반 target encoder와 token predictor를 활용하여 라벨 없이 채널 간 기능적 의존성 그래프(estimated connectivity)를 학습
• Stage 2: 학습된 connectivity graph를 이용하여 채널을 K개(예: K=8)의 학습가능한 prototype token으로 소프트 클러스터링(functional cluster)
• 클러스터링된 prototype 표현을 spatial/temporal transformer로 다시 처리하고, patch predictor로 원 신호를 재구성하는 재구성 손실(L_clus)을 통해 클러스터 할당과 prototype을 함께 학습
• speech perception(Brain Treebank), speech production(Du-IN), seizure detection(SWEC, MAYO, FNUSA) 등 다양한 다운스트림 과제에 대해 미세조정 및 평가 수행, ablation(사전학습 데이터 시간, 모델 구조, 다운스트림 통합 여부 등) 실시

Originality

• 채널 단위 토큰화나 단일 brain-level 토큰 집계와 달리, 데이터 기반으로 기능적 클러스터를 자동 발견하는 최초의 iEEG foundation model 토큰화 방식을 제안함
• 해부학적 atlas 등 정적 prior에 의존하는 BaRISTA, MVPFormer 등과 달리 채널 간 추정된 기능적 의존성 그래프(functional context graph)를 통해 동적이고 데이터 주도적인 기능적 모듈을 발견
• 2단계 사전학습(기능적 맥락 그래프 학습 → 그래프 기반 소프트 클러스터링)이라는 새로운 프레임워크 설계
• 학습된 클러스터가 기존 신경생리학적 지식과 정합함을 보여 해석가능성을 강화

Limitation & Further Study

• 클러스터 수 K와 같은 하이퍼파라미터의 최적 선택 및 다양한 피험자/과제에 대한 민감도 분석이 충분히 다뤄지지 않았을 가능성이 있음
• 두 단계 사전학습으로 인한 계산 비용 및 학습 파이프라인의 복잡성이 실제 임상 적용에 부담이 될 수 있음
• 평가 데이터셋이 특정 과제(speech perception/production, seizure detection)에 국한되어 있어, 더 폭넓은 신경학적 질환이나 운동 디코딩 등으로의 일반화 검증이 필요함
• 발견된 기능적 클러스터의 신경생리학적 해석이 정성적 수준에 머물 수 있어, 보다 정량적인 검증(예: 알려진 기능적 네트워크와의 통계적 일치도)이 후속 연구로 요구됨

Evaluation

총평: 기능적 클러스터링을 명시적으로 도입한 2단계 사전학습 프레임워크는 iEEG foundation model의 토큰화 방식에 대한 참신하고 신경과학적으로 근거 있는 해법을 제시하며, 다양한 디코딩 과제에서 일관된 성능 향상과 해석가능성을 보여준 의미 있는 연구이다.