BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language

Motivation

• Known: 기존 연구들은 brain encoding과 decoding을 각각 독립적인 task로 다루며, CLIP 등 frozen pretrained 모델과 Stable Diffusion, LLaMA 같은 외부 prior에 크게 의존해 unimodal alignment를 수행해왔다. fMRI, EEG 등 다양한 neuroimaging modality에 대한 representation pretraining(BrainLM, MindEye2, BrainOmni, BrainFLORA 등)도 활발히 이루어지고 있다.
• Gap: 뇌는 본질적으로 시각, 의미, 언어 정보를 하나의 cortex 전역에서 통합 처리하는 multimodal integration system임에도 불구하고, 기존 방법들은 이러한 본질을 간과한 채 task-specific pipeline과 unimodal(CLIP 등) alignment에 의존하여 brain 신호에 내재된 multimodal semantics를 충분히 활용하지 못하고 있으며, encoding과 decoding을 위한 통합 neural representation과 discrete token space를 구축한 연구도 부재하다.
• Why: brain, vision, language를 하나의 공유 token space로 통합함으로써 brain-computer interface, neural representation 해석, zero-shot generalization 등 다양한 응용에서 범용적(general-purpose) brain modeling paradigm을 제시할 수 있어 뇌과학과 AI 양쪽에 중요한 함의를 가진다.
• Approach: Unified Brain Tokenizer로 연속적인 neural dynamics를 vision, language 토큰과 정렬된 discrete token으로 quantize하여 공유 Omni space를 구성하고, 이를 기반으로 단일 Transformer backbone의 All-in-One autoregressive 모델이 next-token prediction으로 image-to-brain, text-to-brain, brain-to-image, brain-to-text의 any-to-any 생성을 수행한다.

Achievement

Figure 3. Qualitative comparison of brain caption decoding results. GroundTruth image captions are compared with caption

1. 최초의 통합 brain-vision-language 모델: brain encoding과 decoding, 총 4가지 task(brain-to-image, brain-to-text, image-to-brain, text-to-brain)를 모두 지원하는 최초의 unified model을 제안했다(Table 1 비교에서 기존 방법들은 이 중 일부만 지원).
2. 다양한 벤치마크에서 우수한 성능: brain decoding 및 encoding 벤치마크 전반에서 task-specific 모델들을 능가하는 competitive 성능을 달성했다.
3. Zero-shot 일반화: 통합 multi-task 학습을 통해 cross-modal 지식 전이가 촉진되어, task-agnostic한 강건한 representation으로 zero-shot generalization 능력을 확인했다.
4. 생물학적 해석 가능성 보존: 생성된 fMRI 신호가 해석 가능한 cortical topography와 biological variability를 보존함을 보여, 모델이 의미 있는 neural representation을 학습했음을 입증했다.

How

Figure 2. An overview of BrainJanus. The input data, regardless of its modality, is tokenized into a shared token space

• Unified Brain Tokenizer: 처음부터 학습되는 tokenizer로, encoder-decoder 구조와 codebook 기반 vector quantization(Z_e(x) → Q(z|x) → Z_q(x))을 통해 continuous neural dynamics를 discrete token으로 변환하고, 이를 vision/language token과 shared Omni space 내에서 정렬시킨다.
• All-in-One Autoregressive Architecture: 단일 Transformer backbone이 brain, vision, text tokenizer/detokenizer로부터 나온 token sequence를 next-token prediction 방식으로 처리하여, image→brain, text→brain(encoding)과 brain→image, brain→text(decoding)의 4개 task를 하나의 모델 내에서 임의로 전환(seamless toggle)하며 수행한다.
• Multi-subject 학습: 여러 subject의 brain 데이터를 함께 활용하여 brain tokenizer를 pretraining함으로써 cross-subject 일반화를 도모한다.
• Joint 및 Zero-shot 평가: 다양한 encoding/decoding 벤치마크에서 joint training 성능을 task-specific baseline과 비교하고, 추가로 zero-shot generalization 실험 및 fMRI 생성 신호의 cortical topography 분석을 수행한다.

Originality

• 뇌를 omni-modal integration system으로 보는 신경과학적 통찰을 discrete token 기반 autoregressive framework에 직접 반영하여, brain을 vision·language와 대등한 하나의 modality로 tokenize한 최초의 시도이다.
• 기존 연구들이 CLIP, diffusion model, LLM 등 대규모 external prior에 의존하는 task-specific pipeline이었던 것과 달리, 별도의 aligner나 generative prior 없이 처음부터 학습되는 단일 brain tokenizer와 단일 autoregressive backbone만으로 encoding·decoding 4개 task 전체를 any-to-any 방식으로 통합했다.
• Table 1에서 보이듯, brain decoding(to image/text)과 brain encoding(from image/text) 4가지 기능을 모두 갖춘 유일한 모델로 기존 방법론 대비 기능적 커버리지에서 명확히 차별화된다.

Limitation & Further Study

• 발췌된 내용만으로는 실제 정량적 성능 수치, 벤치마크 데이터셋 세부사항, ablation 결과가 충분히 제시되지 않아 우수성 주장의 근거를 완전히 검증하기 어렵다.
• brain tokenizer의 codebook 크기, quantization 방식이 서로 다른 subject 간 neural variability를 얼마나 강건하게 처리하는지, 그리고 대규모 subject/데이터셋 확장 시의 scalability에 대한 논의가 부족해 보인다.
• 현재는 fMRI를 중심으로 검증된 것으로 보이며, EEG, MEG 등 다른 neuroimaging modality로의 확장 가능성과 실제 real-time brain-computer interface 적용 가능성은 후속 연구로 남아있다.
• zero-shot generalization의 구체적 조건(예: unseen subject, unseen category)과 실패 사례에 대한 심층 분석이 추가되면 신뢰성이 높아질 것이다.

Evaluation

총평: 뇌를 omni-modal 시스템으로 보는 신경과학적 관점을 discrete tokenization과 unified autoregressive 구조로 구현한 참신하고 야심찬 시도로, brain encoding/decoding 통합이라는 오랜 문제에 새로운 패러다임을 제시한다는 점에서 의의가 크다.