MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

Motivation

• Known: 사전학습을 통한 표현 학습은 여러 modality에서 데이터 효율성을 높이는 것으로 알려져 있으며, 언어모델·오디오모델·비디오생성 등에서 context 길이 확장이 성능 향상에 기여한다는 것이 확인되어 왔다. MEG 기반 brain-to-text 분야에서도 d'Ascoli et al.(2025)이 문장 단위 MEG 컨텍스트를 활용해 word decoding 정확도를 크게 개선한 바 있다.
• Gap: 기존 brain-to-text 디코더와 brain foundation model(LaBraM, EEGPT, BioCodec 등)들은 밀리초~10초 이내의 짧은 컨텍스트로 사전학습되어 신경 신호에 내재된 장거리 언어적·구조적 의존성을 활용하지 못하며, 임상 환경에서 필수적인 최소한의 subject-specific 데이터로도 잘 일반화하는 사전학습 모델이 부재하다.
• Why: 마비 환자를 대상으로 한 임상 brain-to-text 인터페이스는 방대한 훈련 녹음을 제공할 수 없으므로, 적은 subject 데이터로도 잘 일반화하는 데이터 효율적인 사전학습 모델이 실질적인 임상 적용을 가능하게 하는 핵심 요소이다.
• Approach: masked token prediction을 사전학습 목표로 삼고, criss-cross attention을 통한 memory-efficient 연산으로 2.5분 길이의 MEG 샘플(191k 토큰)을 직접 모델링하여 장거리 의존성을 학습한 뒤, word decoding task로 fine-tuning한다.

Achievement

Figure 3. Pre-training enables generalisation with less subject data. We compare MEG-XL to the state-of-the-art supervis

1. 데이터 효율적 전이: MEG-XL은 1시간의 subject 데이터만으로 supervised SOTA가 50시간으로 달성하는 성능에 필적한다.
2. Brain foundation model 대비 우위: 소량 데이터(shallow) 환경에서 기존 모든 brain foundation model을 능가하며, 대량 데이터(deep) 환경에서도 경쟁력을 유지한다.
3. 컨텍스트 길이와 표현 품질의 상관관계 규명: linear probing 결과 더 긴 pre-training 컨텍스트로 학습된 모델일수록 word decoding에 더 잘 전이되는 표현을 학습함을 확인했다.
4. Zero-shot 일반화 개선: 미공개 데이터셋에 대한 masked signal의 zero-shot 예측 성능도 긴 컨텍스트로 학습할수록 향상된다.
5. 계층적 attention 패턴 발견: attention 분석을 통해 긴 컨텍스트 모델이 초기 layer에서는 국소적 처리를, 후기 layer에서는 전역적 통합을 수행하는 선택적·계층적 attention을 학습함을 보였다.

How

Figure 2. Overview of the MEG-XL pre-training framework. (Left) A frozen BioCodec tokenizer independently encodes each M

• Masked token prediction 목표로 self-supervised 사전학습을 수행하며, 시간적으로 자기상관이 높은 MEG 신호의 특성을 고려해 긴 블록 단위로 마스킹하여 단순 보간을 방지
• SoundStorm에서 영감을 받아 residual vector quantization(RVQ) 기반 토크나이저를 채택하되, 다채널 MEG 신호에 맞게 sensor embedding을 추가하여 프레임워크를 확장
• BrainOmni와 유사하게 시간·센서 축으로 attention을 분리하는 memory-efficient criss-cross attention(CBraMod 기반)을 사용해 2.5분(191k 토큰) 길이의 컨텍스트에서도 quadratic attention의 계산 병목을 회피
• 수백 명의 subject, 수백 시간 분량의 rest·motor·speech 등 다양한 태스크 MEG 데이터로 사전학습
• 3개의 MEG speech 데이터셋에 대해 contextual word decoding으로 fine-tuning하여 supervised SOTA(d'Ascoli et al., 2025) 및 다수의 brain foundation model과 비교
• linear probing과 zero-shot masked prediction, attention 패턴 분석을 통해 긴 컨텍스트의 효과를 해석

Originality

• 신경 신호 사전학습을 분·단위(2.5분, 191k 토큰) 스케일로 확장한 최초의 시도로, 기존 방법 대비 5-300배 긴 컨텍스트를 도입
• 오디오 생성 모델(SoundStorm)의 RVQ 토크나이저 아이디어를 다채널 MEG 신호에 맞게 sensor embedding으로 확장 적용한 점이 새로움
• 긴 컨텍스트 사전학습이 brain-to-text decoding뿐 아니라 zero-shot masked prediction에도 긍정적 영향을 미친다는 것을 실증적으로 규명하고, 이를 계층적 attention 패턴의 발현이라는 메커니즘으로 해석한 분석적 기여

Limitation & Further Study

• 사전학습에 사용된 191k 토큰 규모의 긴 컨텍스트는 상당한 연산·메모리 자원을 요구하며, criss-cross attention으로 완화되었다고는 하나 확장성의 한계가 완전히 해소되었는지는 불명확함
• word decoding 이외의 더 세밀한 언어 단위(음소, 문장 등)나 실제 마비 환자 대상 임상 검증은 다루지 않아 실제 clinical BCI 적용 가능성에 대한 추가 검증이 필요
• 사용된 MEG 데이터셋이 비침습적 환경에서 수집된 건강한 피험자 데이터에 국한되어 있어, 실제 대상 환자군(마비 환자)의 신호 특성에 대한 일반화 여부는 추가 연구가 필요
• 컨텍스트 길이의 상한(2.5분) 이후 추가적인 확장이 성능에 계속 긍정적인지에 대한 스케일링 한계 분석이 부족

Evaluation

총평: 신경 신호의 사전학습 컨텍스트 길이를 분 단위로 획기적으로 확장하고 이를 통해 임상적으로 중요한 데이터 효율성 문제를 해결한 실용적이면서도 통찰력 있는 연구로, brain-to-text 분야에 새로운 방향을 제시한다.