Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models

Motivation

• Known: M/EEG 신호를 활용해 시각 지각을 유도하는 뇌 디코딩(brain decoding) 단계는 diffusion model 등 생성 모델을 활용해 상당한 진전을 이루어왔으며, MindEye, MindBridge, Mind-Reader 등이 fMRI 기반으로, Li et al.은 EEG/MEG 기반으로 phosphene을 생성하는 데 성공했다.
• Gap: 반면 이미지를 자극(stimuli)으로 변환하는 뇌 인코딩(brain encoding) 단계는 상대적으로 덜 연구되었으며, 기존 연구(Granley et al., Wang et al.)는 실제 뇌 자극(real stimuli)을 supervised signal로 사용하지 않아 예측된 자극의 생물학적 유사성을 검증하지 못했고, 이로 인해 시각 보철의 시각 회복 효과가 초보적 수준에 머물러 완전한 기능적 파이프라인이 형성되지 못했다.
• Why: image-to-brain signal 변환을 정확하게 수행할 수 있다면 시각 보철 기술 발전뿐 아니라, 시각 피질의 계층적 정보 처리 메커니즘을 탐구하는 뇌 인코딩 모델(encoding model)로서 신경과학적 가설 검증에도 활용될 수 있어 실용적·이론적 가치가 모두 크다.
• Approach: DDIM 기반 diffusion transformer(DiT) 구조에 cross-attention 메커니즘을 결합하여, 뇌 신호 임베딩을 Query로, CLIP 이미지 임베딩과 LLM이 생성한 캡션의 CLIP 텍스트 임베딩을 concatenate한 것을 Key/Value로 사용해 이미지-뇌 신호 정렬을 수행하고, 학습 가능한 spatio-temporal position encoding으로 공간(뇌 영역)·시간 특성을 함께 모델링한다.

Achievement

Figure 3. Cross-subject topography comparison for THINGS-EEG2. The figure shows EEG topographies comparing Subject 1 (tr

1. 최초의 image-to-brain signal 생성 프레임워크 제안: 실제 M/EEG 신호를 supervised signal로 사용하여 이미지로부터 생물학적으로 그럴듯한(plausible) 뇌 신호를 직접 생성하는 완전한 기능적 파이프라인을 구축했다.
2. CLIP 및 LLM 캡션을 활용한 멀티모달 정렬: cross-attention에서 CLIP 이미지 임베딩과 LLM(Qwen2-VL-2B-Instruct) 기반 캡션의 CLIP 텍스트 임베딩을 결합하여 시각적·의미적 정보를 동시에 포착하도록 설계했다.
3. 학습 가능한 spatio-temporal position encoding 도입: 뇌 영역(region) 임베딩과 시간(temporal) 임베딩을 결합해 M/EEG 데이터 고유의 공간·시간 구조를 명시적으로 모델링했다.
4. THINGS-EEG2, THINGS-MEG 두 벤치마크에서 검증: cross-subject topography 비교 등을 통해 생성된 신호가 실제 뇌 신호와 생물학적으로 유사함을 실험적으로 입증했다.

How

Figure 2. Overall architecture of our image-to-brain framework. The framework consists of: (1) a CLIP visual encoder (Vi

• diffusion transformer(DiT) 백본에 DDIM 기반 denoising 과정을 적용해 M/EEG 신호를 생성
• brain signal embedding을 Query, CLIP image embedding + CLIP text embedding(LLM 생성 caption 기반)을 concatenate한 결과를 Key/Value로 사용하는 cross-attention block 설계
• LLM(Qwen2-VL-2B-Instruct)으로 이미지 캡션을 생성하고 CLIP Score로 캡션 품질을 평가
• 뇌 영역 임베딩과 시간 임베딩을 결합한 학습 가능한 spatio-temporal position encoding 적용
• THINGS-EEG2, THINGS-MEG 두 멀티모달 데이터셋에서 실험, cross-subject topography 비교로 생성 신호의 생물학적 타당성 검증

Originality

• 기존 브레인 디코딩 연구에 비해 상대적으로 미개척 영역인 브레인 인코딩(이미지→뇌신호) 문제를 diffusion transformer와 cross-attention으로 해결한 최초의 시도로 보임
• 기존 시각 보철 인코딩 연구들이 실제 자극 신호를 supervised label로 사용하지 않았던 한계를 극복하고, THINGS-EEG2/MEG의 실제 M/EEG를 직접 supervision으로 활용
• CLIP 이미지 임베딩뿐 아니라 LLM 생성 캡션의 텍스트 임베딩을 결합하여 의미 정보를 함께 정렬에 활용하는 아이디어
• 뇌 신호의 공간(뇌 영역)·시간 구조를 명시적으로 인코딩하는 학습 가능한 position encoding 설계

Limitation & Further Study

• 생성된 M/EEG 신호가 실제로 시각 보철의 phosphene 생성 단계에서 유효한 자극 신호로 변환 가능한지에 대한 실제 임플란트/전기자극 검증이 부족해 실용성 검증이 더 필요함
• 발췌된 내용상 정량적 평가지표(예: 유사도 점수, 다운스트림 디코딩 정확도)에 대한 구체적 비교나 ablation 결과가 충분히 제시되지 않아 방법론의 각 구성요소(캡션, position encoding 등) 기여도 검증이 더 필요함
• LLM이 생성한 캡션의 품질과 정확성에 성능이 크게 의존할 수 있어, 캡션 오류나 편향이 뇌 신호 생성 품질에 미치는 영향에 대한 강건성 분석이 요구됨
• 두 데이터셋(THINGS-EEG2, THINGS-MEG)에 한정된 평가로, 다른 뇌 신호 데이터셋이나 실제 임상 환경에서의 일반화 가능성 검증이 후속 연구로 필요함

Evaluation

총평: 시각 보철의 미개척 영역인 뇌 인코딩 문제를 diffusion transformer와 멀티모달 정렬로 접근한 참신하고 의미 있는 시도이며, 완전한 기능적 파이프라인 구축을 향한 중요한 첫 걸음이지만 실제 임상적/전기생리학적 검증과 세부 정량 평가의 보강이 필요하다.