BIT-LLM: Brain Instruction Tuned LLM with persistent Cross-Attention for fMRI-to-Text Decoding

Motivation

• Known: 기존 fMRI-to-text 시스템은 신경 특징을 프리트레인 LLM의 임베딩 공간에 투영한 뒤 prefix token으로 한 번만 주입하는 one-shot conditioning 방식을 주로 사용해왔으며, CLIP-pivot 방식으로 fMRI를 semantic 공간에 정렬하는 접근도 연구되어 왔다.
• Gap: one-shot prefix conditioning은 autoregressive 생성 과정에서 정보가 점차 희석되어 언어모델이 강한 linguistic prior에 의존하게 될 위험이 있으며, 이로 인해 높은 캡셔닝 점수가 실제로 voxel 값에 기반한 것인지 불분명하다는 문제(brain-language grounding의 검증 부재)가 존재한다.
• Why: 신경 증거에 대한 지속적 접근과 grounding 검증은 뇌-컴퓨터 인터페이스 및 시각-의미 표상의 계산적 설명을 위한 신뢰할 수 있는 fMRI 디코딩 시스템 구축에 필수적이며, 단순히 캡셔닝 점수만으로는 모델이 실제로 뇌 신호를 활용하는지 알 수 없다는 근본적 한계를 다룬다.
• Approach: fMRI 인코더가 생성한 brain token을 persistent key-value memory로 취급하고, decoder-only LLM(Llama 3.2-3B-Instruct)의 여러 depth에 interleaved cross-attention adapter를 삽입하여 텍스트 hidden state가 반복적으로 신경 정보를 query하도록 설계했다. 이를 contrastive pretraining, SFT, GRPO 기반 RFT의 3단계 파이프라인으로 학습한다.

Achievement

Figure 5. Qualitative BIT-LLM results on NSD S8. Each panel shows the stimulus image, COCO references, and captions gene

1. 캡셔닝 성능 향상: NSD subject-heldout(S1-7 train, S8 test) 프로토콜에서 greedy decoding 기준으로 기존 baseline 대비 상당히 개선된 캡셔닝 품질을 달성했다.
2. grounding 검증 방법론 제시: fMRI 입력을 zeroing하거나 voxel 값을 shuffling하는 perturbation 기반 sanity check를 도입하여, 내부 표상과 생성 출력이 실제로 voxel 값과 그 공간적 대응관계에 민감하게 반응함을 입증했다.
3. 효율적 post-training: LoRA를 활용한 GRPO 기반 RFT가 LoRA 없이 학습한 경우보다 더 나은 post-training 성능 향상을 보이면서도 비용을 절감함을 확인했다.

How

Figure 4. Overview of Stage-3 Neuro-Semantic RFT (GRPO). With the encoder and backbone LLM frozen, we sample multiple ca

• Stage 1 (Multimodal Contrastive Pretraining): fMRI encoder를 COCO 이미지·캡션과 CLIP 스타일 contrastive loss로 정렬하여 semantically aligned brain embedding을 획득.
• Stage 2 (Brain Instruction SFT): encoder와 backbone LLM을 freeze한 채 persistent cross-attention 기반 brain-LLM interface만 supervised 방식으로 학습.
• Stage 3 (Neuro-Semantic RFT): GRPO를 사용해 CIDEr, BERTScore 등 sequence-level reward를 직접 최적화하며, LoRA로 효율적인 업데이트를 수행.
• 평가: 표준 캡셔닝 지표 외에 fMRI 입력 zeroing/voxel shuffling 등 perturbation 기반 진단을 통해 신경 grounding의 강건성을 평가.

Originality

• one-shot prefix conditioning의 한계를 지적하고, interleaved cross-attention을 통해 fMRI 토큰을 persistent key-value memory로 활용하는 구조를 fMRI-to-text 디코딩에 도입한 점이 독창적이다.
• contrastive pretraining, SFT, GRPO 기반 RFT를 결합한 3단계 학습 파이프라인을 brain decoding에 적용하여 sequence-level reward 최적화를 수행한 점.
• 캡셔닝 점수만으로는 검증되지 않는 grounding 문제를 perturbation 기반 sanity check(zeroing, voxel shuffling)로 정량적으로 진단하는 프레임워크를 제시한 점이 새롭다.

Limitation & Further Study

• 단일 데이터셋(NSD)과 특정 subject-heldout 프로토콜(S1-7/S8)에 대해서만 검증되어, 다른 데이터셋이나 다양한 subject 구성에 대한 일반화 가능성이 불명확하다.
• baseline으로 사용된 prefix conditioning과의 비교가 동일 encoder, backbone 조건에서 이루어졌는지, 그리고 interleaved cross-attention 추가로 인한 파라미터/연산 비용 증가 대비 성능 향상의 trade-off에 대한 분석이 제한적일 수 있다.
• perturbation 기반 sanity check가 grounding을 정성적으로 보여주지만, 정량적 인과 관계(예: 어떤 뇌 영역이 어떤 semantic 요소에 기여하는지)에 대한 세밀한 해석은 부족하다.
• 후속 연구로는 다양한 brain decoding task(예: 이미지 재구성, 다른 언어 task)로의 확장, 그리고 다른 encoder/backbone 조합에서의 robustness 검증이 필요하다.

Evaluation

총평: fMRI 유래 토큰을 persistent cross-attention memory로 활용하고 GRPO 기반 RFT와 perturbation 기반 grounding 검증을 결합한 참신하고 체계적인 접근으로, fMRI-to-text 디코딩의 신뢰성 문제를 실질적으로 다루는 유의미한 연구이다.