Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

Motivation

• Known: 기존 연구들은 image reconstruction이나 language decoding처럼 단일 task 혹은 단일 방향(encoding-only 또는 decoding-only)에 특화된 "expert model"을 사용하는 feature mapper + 고정된 pre-trained generative model 파이프라인에 의존해왔다.
• Gap: 이러한 특화된 단일 task 패러다임은 모델의 범용성을 제한하고, task 간 시너지 가능성을 간과하며, subject 간 해부학적 변이, 연속 뇌 신호와 discrete visual/textual token 간의 modality gap, encoding/decoding task 간 상호의존성이라는 세 가지 근본적 도전 과제를 해결하지 못한다.
• Why: vision, language, neural signal 간의 내재적 관계와 메커니즘을 하나의 프레임워크에서 규명할 수 있는 강력한 계산적 테스트베드를 제공하며, "brain을 위한 foundation model" 구축을 위한 핵심 단계라는 점에서 중요하다.
• Approach: MNI152 표준 공간 정합을 통한 subject-invariant 표현, 새로운 Brain Tokenizer를 통한 multi-level semantic alignment, 그리고 discrete diffusion 기반의 단일 생성 프로세스를 결합하여 7가지 task를 하나의 아키텍처로 통합한다.

Achievement

1. 통합 멀티태스크 프레임워크 제안: brain, image, text 간 7가지 encoding/decoding task(I→B, T→B, I&T→B, B→I, B→T, B→I&T, BQA)를 단일 discrete diffusion 아키텍처로 통합한 최초의 프레임워크를 제시했다.
2. Brain Tokenizer 개발: 이질적이고 연속적인 fMRI 신호를 image·text와 공유된 semantic space 내 discrete token으로 변환하는 novel Brain Tokenizer를 도입하여 modality 간 직접적인 token-level 상호작용을 가능하게 했다.
3. BQA instruction-tuning 데이터셋 구축: Qwen2-VL(7B)와 LLaVA-Instruct-150K를 활용해 Brain Question Answering 전용 instruction-tuning 데이터셋을 curate하여 고급 추론 능력을 이끌어냈다.
4. Multi-task synergy 실증: encoding task 내 vision-language 간 상호보완 효과 및 B→T와 B→I 같은 decoding task 간 동시 학습·추론이 서로의 성능을 향상시키는 시너지 효과를 실증적으로 규명했다.
5. SOTA 성능 달성: 통합 프레임워크 중 새로운 state-of-the-art를 확립했을 뿐 아니라, 더 큰 규모의 특화 모델들과 경쟁력 있거나 이를 능가하는 성능을 보였다.

How

• MNI152 표준 공간 정합을 사용해 subject 간 구조적 공간 차원을 일관되게 맞춰 subject-specific 모듈 없이도 확장 가능한 기반을 마련한다.
• Brain Tokenizer는 reconstruction loss와 commitment loss를 기본으로 하고, coarse-grained 및 fine-grained modality alignment loss, perceptual alignment loss를 결합한 composite objective로 학습되어 연속 fMRI 신호를 CLIP vision/text encoder와 정렬된 discrete token으로 변환한다.
• Masked MM-DiT 및 Single-DiT 구조의 discrete diffusion model을 masked prediction objective로 학습시켜, 다양한 modality 조합(B→I&T 등)에서 masked image/text token을 cross-entropy loss로 복원하도록 한다.
• 여러 modality masking scheme(image mask, text mask, full attention)을 도입해 학습 및 추론 시 modality 누락 상황에 대응하고, LoRA(Image LoRA, Text LoRA, MM-DiT LoRA, Single-DiT LoRA)를 통해 task별 파라미터 효율적 적응을 수행한다.
• autoregressive model과 달리 순서에 의존하지 않는 permutation-invariant discrete diffusion을 채택해 task 간 시너지를 편향 없이 관찰할 수 있도록 한다.

Originality

• 기존 연구들이 feature mapper + 고정된 pre-trained generative model이라는 2단계 파이프라인에 의존해 단일 task·단일 방향에 국한되었던 것과 달리, brain·image·text 3개 modality를 하나의 discrete diffusion 아키텍처로 직접 융합하는 최초의 시도이다.
• autoregressive 기반 unified MLLM(Emu, Seed-X, Chameleon 등)이 갖는 고정된 causal 구조의 한계를 지적하고, permutation-invariant한 discrete diffusion을 채택해 task 간 시너지를 편향 없이 검증할 수 있는 실험적 근거를 마련했다.
• 뇌 신호를 위한 discrete tokenization과 multi-level(coarse/fine-grained/perceptual) alignment 전략을 결합한 Brain Tokenizer라는 새로운 구성요소를 제안했다.
• BQA라는 새로운 task를 프레임워크에 통합하여 순수 신경 신호 기반 질의응답 추론까지 다룰 수 있도록 확장했다.

Limitation & Further Study

• 논문 발췌본에서는 7개 task 전체에 대한 정량적 비교표나 ablation 세부 결과가 충분히 제시되지 않아, 각 구성요소(alignment loss, masking scheme, LoRA)의 개별 기여도를 명확히 판단하기 어렵다.
• MNI152 표준 공간 정합에 의존하는 접근이 실제로 다양한 scanner, 프로토콜, 대규모 이질적 데이터셋에 얼마나 일반화되는지에 대한 근거가 제한적일 수 있다.
• BQA 데이터셋이 Qwen2-VL과 LLaVA-Instruct-150K로부터 합성/생성된 것이어서, 실제 인간 피험자의 자연스러운 질의응답 분포와의 괴리 및 데이터 품질에 대한 추가 검증이 필요하다.
• 향후 연구로는 더 많은 subject와 modality(예: EEG, MEG)로의 확장, 더 큰 규모의 foundation model로의 스케일업, 그리고 synergy 효과의 신경과학적 해석에 대한 심층 분석이 필요해 보인다.

Evaluation

총평: 단일 task 특화 모델이 지배적이던 BCI 분야에서 brain-vision-language를 아우르는 최초의 통합 discrete diffusion 프레임워크를 제시하고 multi-task synergy를 실증했다는 점에서 참신성과 의의가 크며, foundation model 방향으로의 중요한 전환점을 제시하는 연구이다.