ViEEG: Hierarchical Visual Neural Representation for EEG Brain Decoding

Motivation

• Known: fMRI 기반 시각 디코딩은 공간 해상도가 높아 시각 피질의 계층적 처리 구조를 암묵적으로 반영할 수 있었고, MindEye나 MindBridge와 같은 방법들이 fMRI-CLIP 정렬을 통해 우수한 성능을 보여왔다. 반면 EEG 시각 디코딩 분야에서도 Mb2C, NICE 등 EEG-image contrastive alignment 기반 방법들이 발전해왔다.
• Gap: 기존 EEG 디코딩 방법들은 EEG와 이미지 임베딩 간 직접적인 flat mapping을 수행하여 뇌의 계층적 시각 처리 과정(저수준 edge에서 고수준 semantic으로의 점진적 정제)을 모델링하지 못하는 Hierarchical Neural Encoding Neglect(HNEN) 문제를 가지고 있으며, EEG는 fMRI와 달리 공간 해상도가 낮아 피질 처리 단계를 기능적으로 분리하기 어렵다는 근본적 한계가 있다.
• Why: EEG는 비침습적이고 저비용이며 밀리초 단위의 시간 해상도를 가진 BCI 핵심 모달리티이므로, HNEN 문제를 해결하여 뇌의 생물학적 계층 구조에 맞는 EEG 디코딩을 구현하면 신경과학적으로 타당하면서도 실용적인 뇌-이미지 디코딩 성능 향상을 이끌어낼 수 있다.
• Approach: 시각 자극을 binary object mask(contour), foreground object, raw scene(context)의 세 가지 생물학적으로 정렬된 구성요소로 분해하고, 이를 앵커 삼아 3-stream EEG encoder를 cross-attention routing으로 저수준에서 고수준으로 점진적으로 통합하며 hierarchical contrastive learning으로 EEG-CLIP 표현을 정렬한다.

Achievement

1. 최신 성능 달성: THINGS-EEG 데이터셋에서 subject-dependent 설정 40.9% Top-1(기존 대비 ↑49.82%), subject-independent 설정 22.9% Top-1(↑45.86%)로 기존 벤치마크를 크게 능가.
2. 일반화 검증: THINGS-MEG 데이터셋에서도 우수한 성능을 보여 다른 신경 모달리티에 대한 일반화 가능성을 확인.
3. 제로샷 물체 인식: hierarchical contrastive learning을 통한 EEG-CLIP 정렬로 제로샷 객체 인식(retrieval, classification)을 가능하게 함.
4. 생물학적 타당성 검증: 신경과학적 원리가 모델 설계를 안내하고, 디코딩 결과가 다시 생물학적으로 타당한 뇌 표현을 뒷받침하는 양방향 neuro-AI 검증을 제시.

How

• 입력 이미지를 Contour Priming Layer(binary object mask로 edge saliency 유도), Object Purification Layer(전경 semantics 분리 및 배경 제거), Contextual Integration Layer(raw image로 scene 이해)의 세 계층으로 분해
• 세 개의 병렬 spatiotemporal EEG encoder가 Contour → Object → Context 순서로 계층적 시각 이해를 따라 EEG 신호를 디코딩
• cross-attention 기반 bottom-up routing 메커니즘으로 다단계 EEG 특징을 점진적으로 통합(mask-constrained 모듈이 edge gradient 추출, object-centric attention이 핵심 semantics 정제, cross-stream fusion이 contextual cue 통합)
• hierarchical CLIP anchoring: mask embedding-contour EEG, object embedding-foreground semantic feature, raw image embedding-contextual dynamics를 각각 정렬하는 contrastive learning 적용

Originality

• 시각 피질의 계층 구조(V1/V2, V4/IT, association cortex)에 명시적으로 대응하는 tri-stream(Contour→Object→Context) EEG 디코딩 프레임워크를 최초로 제안
• 기존 방법들이 flat representation으로 뭉뚱그리던 문제를 HNEN이라는 새로운 개념으로 정식화하고, 이를 해결하기 위한 cross-attention routing 기반 bottom-up hierarchical attention 메커니즘을 설계
• neuro-AI 양방향 검증(신경과학 원리→모델 설계, 모델 결과→생물학적 타당성 지지)이라는 프레임을 제시

Limitation & Further Study

• THINGS-EEG/MEG 등 특정 데이터셋에 한정된 검증으로, 더 다양한 EEG 장비·피험자 집단·자연 이미지 도메인에서의 일반화 검증이 필요
• 세 가지 구성요소(contour, object, context) 분해가 binary mask 및 기존 segmentation 도구에 의존하므로, 이러한 전처리 단계의 오류가 전체 성능에 영향을 줄 가능성이 있음
• 계층 간 cross-attention routing이 실제 피질 정보 흐름을 얼마나 충실히 모사하는지에 대한 심층적 신경과학적 검증(예: 실제 뇌 신호와의 시공간적 정합성 분석)이 추가로 필요
• 이미지 재구성 품질에 대한 정량적 평가나 더 복잡한 자연 장면에 대한 확장성 검토가 후속 연구로 요구됨

Evaluation

총평: 신경과학적 계층 구조를 EEG 디코딩 아키텍처에 명시적으로 반영한 참신하고 체계적인 접근으로, HNEN이라는 문제를 명확히 정의하고 이를 실질적 성능 향상으로 이어간 점이 인상적이나, 전처리 의존성과 추가적인 신경과학적 검증의 여지가 남아있다.