EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts

Motivation

• Known: EEG 및 얼굴표정 등 연관 모달리티가 복잡한 인지 과정을 반영하는 계층적 구조를 가진다는 것이 알려져 있으며, hyperbolic space는 exponential growth 특성 덕분에 이러한 계층 구조를 Euclidean space보다 잘 표현할 수 있다는 것이 기존 연구(예: Li et al. 2026의 단일 EEG 모달리티 hyperbolic embedding)에서 입증되었다.
• Gap: 기존 hyperbolic EEG 연구는 단일 모달리티에 고정된 curvature를 사용하는 데 그쳤고, EEG 기반 multimodal learning에서는 hyperbolic geometry가 전혀 탐구되지 않았으며, 서로 다른 모달리티가 서로 다른 정도의 계층성을 가진다는 점을 반영하는 통합 프레임워크가 부재했다.
• Why: EEG 기반 mental state assessment(감정 인식, 수면 단계 분류, 인지 평가 등)의 임상적 가치가 크며, 이질적 모달리티(EEG, 얼굴 영상, 음성 등)의 표현 학습 방식이 성능을 좌우하므로, 각 모달리티의 고유한 기하학적 구조를 반영하는 새로운 표현 학습 패러다임은 멀티모달 뉴로테크놀로지 전반에 중요한 영향을 미칠 수 있다.
• Approach: 각 모달리티를 learnable-curvature hyperbolic space에 임베딩하는 expert에 할당하고, 학습된 curvature를 계층 구조 및 모달리티 중요도의 proxy로 활용해 curvature-aware fusion으로 동적으로 가중 결합하는 방식을 제안한다.

Achievement

Figure 3. t-SNE of fused features on EAV dataset. Hyperbolic

1. 최초의 체계적 분석: 멀티모달 생리 신호(physiological signal)에 대한 최초의 체계적인 hierarchical structure 분석 및 hyperbolic 프레임워크 제시.
2. 모달리티별 적응형 expert: learnable curvature를 갖는 per-modality expert를 통해 각 모달리티의 고유 기하 구조에 적응.
3. curvature 기반 fusion 전략: 학습된 curvature를 hierarchical structure 및 모달리티 중요도의 proxy로 활용하는 curvature-guided fusion 제안.
4. SotA 성능 달성: EAV 등 세 개의 공개 EEG 기반 multimodal dataset에서 cross-subject 설정 하 감정 인식, 수면 단계 분류, 인지 평가 과제 전반에서 state-of-the-art 성능 달성.

How

Figure 4. Ablation of hyperbolic components on the EAV dataset,

• Lorentz hyperboloid model(Ln_K)을 사용하여 수치적 안정성을 확보한 hyperbolic 표현 학습을 수행.
• 각 모달리티(EEG, audio, video 등)를 별도의 learnable-curvature hyperbolic expert로 인코딩(Modality-specific hyperbolic experts).
• geodesic distance와 weighted Fréchet mean 개념을 활용해 hyperbolic manifold 상에서의 centroid 및 분산(variance) 계산.
• exponential map/logarithmic map 및 tangent space를 통해 Euclidean 연산과 hyperbolic manifold 간 변환 수행.
• curvature-scaled temperature와 curvature prior bias를 결합한 curvature-oriented fusion으로 계층 구조가 풍부한 모달리티에 더 큰 가중치 부여.
• 최근 제안된 hyperbolic alignment 기법(Li et al., 2026)을 도입해 cross-subject 평가에서 발생하는 distribution shift를 완화.
• cross-subject 설정에서 emotion recognition, sleep staging, cognitive assessment 등 세 개의 벤치마크 데이터셋에 대해 실험 및 ablation 수행.

Originality

• EEG 기반 multimodal learning에 hyperbolic geometry를 최초로 도입한 시도로, 기존 연구가 단일 EEG 모달리티에 고정 curvature만 적용했던 것과 차별화됨.
• 모달리티별로 learnable curvature를 부여하는 mixture-of-curvature 개념을 텍스트 도메인의 단일 모달리티 연구(He et al., 2026)에서 나아가 멀티모달 생리 신호 도메인으로 일반화.
• 학습된 curvature 크기를 단순한 하이퍼파라미터가 아니라 모달리티의 hierarchical complexity 및 fusion 시 중요도의 proxy로 활용하는 curvature-guided fusion 메커니즘 제안.

Limitation & Further Study

• 실험이 세 개의 공개 데이터셋(EAV 등)에 국한되어 있어, 더 다양한 임상 환경 및 실시간 응용에서의 일반화 가능성은 추가 검증이 필요함.
• curvature를 fusion weight의 proxy로 사용하는 가정이 모든 태스크·모달리티 조합에서 항상 타당한지에 대한 이론적 근거가 제한적이며, 다양한 잡음 조건에서의 강건성 분석이 부족함.
• 발췌된 본문에서는 구체적인 정량적 비교(수치) 및 baseline 대비 성능 향상 폭에 대한 상세 논의가 충분히 제시되지 않아, 실제 개선 폭과 통계적 유의성에 대한 추가 검토가 필요함.
• 후속 연구로는 더 많은 모달리티 조합, 다양한 curvature 초기화 전략, 그리고 실시간 임상 적용을 위한 계산 효율성 분석이 요구됨.

Evaluation

총평: EEG 기반 multimodal learning에 hyperbolic mixture-of-curvature expert 개념을 처음 도입한 참신하고 이론적으로 잘 뒷받침된 연구로, cross-subject 설정에서 다양한 태스크에 대해 SotA 성능을 보여 실용적 가치가 크다.