RECTOR: Masked Region-Channel-Temporal Modeling for Affective and Cognitive Representation Learning

Motivation

• Known: EEG/sEEG 기반 정서·인지 상태 분석은 뇌 영역 간 분산되고 동적인 상호작용을 포착해야 하며, bihemispheric modeling, graph neural network, transformer 등을 활용한 region-level 학습 시도가 있었다.
• Gap: 기존 방법들은 고정된 해부학적 사전지식(fixed anatomical prior)에 의존해 인지 처리 중 변화하는 기능적 뇌 구조를 반영하지 못하고, topological structure modeling을 무시해 표면적 shortcut을 학습하며, 채널별 세밀한 dynamics를 희생하거나 random masking 기반 SSL이 지나치게 단순한 pretext task가 되는 한계가 있다.
• Why: 정서·인지 장애의 객관적 바이오마커 발굴과 임상 진단, BCI 응용을 위해서는 결측 채널과 cross-montage 환경에서도 강건하게 일반화되는 해석 가능한 뇌 신경 표현 학습이 필수적이기 때문이다.
• Approach: RECTOR-SA라는 hierarchical block-sparse self-attention을 Adaptive Functional Partitioning(AFP)으로 유도하고, Masked Predictive Modeling, Topological Structure Modeling, Cross-View Consistency 세 가지 목표를 결합한 Masked Topology and Representation Learning(MTRL)으로 self-supervision을 수행한다.

Achievement

1. State-of-the-art 성능: EEG 감정 인식과 sEEG task-engagement 분류 벤치마크 전반에서 기존 supervised 및 self-supervised 방법들을 능가하는 성능을 달성했다.
2. 강건성과 일반화: 채널 결손(missing channel) 상황과 cross-montage 조건에서 zero-shot 강건성을 보여, 이질적인 EEG/sEEG 데이터에 대한 대규모 pre-training 가능성을 입증했다.
3. 연산 효율성: 전체 spatio-temporal self-attention 대비 block-sparse 구조를 통해 뛰어난 계산 효율성을 확보했다.
4. 해석 가능성: region 및 channel 수준의 multi-level visualization을 통해 신경생리학적으로 타당한 해석을 제공하며, AFP가 단순히 초기화를 보존하는 것이 아니라 안정적이고 공간적으로 일관된 기능적 refinement를 학습함을 보였다.

How

• 입력 EEG/sEEG trial을 channel-time token XC로 patch화하고, soft channel-to-region assignment ΠX를 이용해 region token XR을 생성하여 hierarchical sequence X를 구성한다.
• RECTOR-Transformer는 context encoder, target encoder(EMA replica), predictor, decoder 네 모듈로 구성되며 모두 RECTOR-SA를 사용한다.
• RECTOR-SA는 Adaptive Functional Partitioning과 top-p gating을 통해 불필요한 연결을 pruning하는 hierarchical block-sparse self-attention으로, region-common 및 channel-specific dynamics를 분리해 학습한다.
• SSL 파이프라인은 입력을 visible context view와 masked target view로 분할하고, Masked Predictive Modeling(입력·잠재 공간 재구성), Topological Structure Modeling(부분 context로부터 안정적 기능적 topology 포착), Cross-View Consistency(Topology-Aware Multi-View Masking으로 생성된 다양한 구조적 view 간 표현 불변성 강제)의 세 목표를 단일 forward pass에서 공동 최적화한다.
• pretraining 이후 context encoder를 fine-tuning하여 감정 인식 및 task-engagement 분류 등 downstream task에 적용한다.

Originality

• 고정된 해부학적 사전지식을 넘어 기능적 뇌 영역 구조를 적응적으로 진화시키는 Adaptive Functional Partitioning을 self-attention에 통합한 최초의 시도로 보인다.
• Masked Predictive Modeling, Topological Structure Modeling, Cross-View Consistency를 단일 forward pass에서 결합한 통합적 self-supervision 패러다임(MTRL)을 제안한다.
• region-channel-temporal을 동시에 다루는 hierarchical block-sparse attention 설계로 dense full spatio-temporal attention의 비효율성과 노이즈 증폭 문제를 완화한다.

Limitation & Further Study

• 발췌된 본문에서는 AFP와 top-p gating의 구체적 수식·알고리즘, 그리고 TSM/CVC의 손실 함수 정의가 충분히 제시되지 않아 재현성 검증이 어렵다.
• 사용된 벤치마크와 데이터셋의 규모, 다양한 임상 집단(예: 실제 정신질환 환자군)에 대한 검증이 제한적일 수 있어, 실제 임상 배포 전 대규모·다기관 검증이 필요하다.
• cross-montage 일반화가 강조되지만, 서로 다른 채널 수·배치를 가진 데이터셋 간 전이 성능에 대한 구체적 한계(예: 극단적으로 상이한 montage) 분석이 부족해 보인다.
• 후속 연구로 대규모 이질적 EEG/sEEG corpus에 대한 실제 foundation model 수준의 pre-training과 다양한 다운스트림 임상 태스크(예: 발작 예측, 치매 진단)로의 확장이 필요하다.

Evaluation

총평: 고정 해부학적 사전지식의 한계를 극복하는 적응적 기능 분할과 통합적 마스크 기반 topology-representation 학습을 결합한 참신하고 실용적인 프레임워크로, EEG/sEEG 표현학습 분야에서 의미 있는 성능·효율성·해석 가능성의 균형을 제시한다.