Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

Motivation

• Known: spiking activity, LFP, intracranial EEG 등 다른 neural modality에서는 multi-subject pretrained model이 session-specific 파라미터(learnable session token, subject-specific read-in/out layer)를 활용해 cross-subject 일반화를 시도해왔으며, widefield imaging에서는 PCA나 LocaNMF 같은 atlas-guided decomposition을 통한 dimensionality reduction 후 단일 세션 단위의 dynamical model이나 VAE 기반 접근이 주로 사용되어 왔다.
• Gap: widefield calcium imaging은 고차원성, 복잡한 spatiotemporal 구조, task-irrelevant activity로 인해 지금까지 single-session 모델링에 국한되어 왔고 multi-subject 모델이 시도된 바 없으며, 다른 modality에서도 session-specific 파라미터에 의존하기 때문에 subject-invariant한 진정한 zero-shot behavior decoding은 여전히 미해결 과제로 남아 있다.
• Why: widefield imaging은 대규모 multi-animal, multi-session, multi-lab 데이터셋이 빠르게 축적되고 있어 이를 재사용 가능한 foundation model로 통합할 수 있다면 뇌 전역 동역학과 행동의 관계 연구를 크게 가속화할 수 있으며, session-specific 구성요소 없이 zero-shot 일반화를 달성하는 것은 neural foundation model 전반의 핵심 난제를 해결하는 방향이다.
• Approach: Allen Brain Atlas에 registration된 widefield 프레임을 공통 해상도로 정렬한 뒤 atlas-grounded spatiotemporal patch tokenization과 global spatial embedding을 도입하고, session-specific 구성요소 없이 masked autoencoding 기반 self-supervised pretraining으로 subject 간 공유 표현을 학습하는 transformer 모델(WiCAT)을 제안한다.

Achievement

Figure 3. Few-shot adaptation. Behavior decoding results are

1. Multi-subject widefield 모델 최초 구현: 38명의 subject, 378개 session, 두 개의 상이한 behavioral task에 걸친 대규모 데이터로 학습된 최초의 multi-subject widefield calcium imaging 모델을 제시했다.
2. Session-free cross-subject 표현 학습: atlas 기반 tokenization과 global spatial embedding을 통해 subject/session identifier 없이도 subject-invariant한 해부학적 조직을 포착하는 embedding을 학습했다.
3. 경량 downstream decoding 우수 성능: 사전학습된 표현이 frozen 상태에서 lightweight decoder만으로 subject, task, dataset 전이 시 baseline 모델을 능가했다.
4. Zero-shot behavior decoding 및 few-shot 적응: 미지의 subject에 대해 zero-shot continuous behavior decoding이 가능함을 보였고, 제한된 라벨 데이터로도 efficient few-shot 적응이 가능함을 입증했다.
5. Zero-shot 뇌 영역 재구성: 학습된 표현이 subject 간 일반화되는 cross-region dependency를 포착하여, 미지의 subject에서 left-out brain region의 zero-shot 재구성을 가능케 했다.

How

Figure 2. Self-supervised pretraining via masked autoencoding. Atlas-aligned widefield recordings are patchified into sp

• Widefield calcium imaging frame을 Allen Brain Atlas에 registration하여 128×128 공통 해상도로 정렬함으로써 subject 간 cortical region 정렬을 수행
• 정렬된 recording을 spatiotemporal patch로 분할하고 각 patch를 conv embedder를 통해 d-차원 token embedding으로 투영
• spatial ID, temporal ID를 부여하고 spatial average pooling을 통해 global spatial embedding을 생성하여 session-specific parameter 없이 anatomical 정보를 인코딩
• spatiotemporal attention을 포함한 transformer encoder(정규화, feed-forward, residual 연결 포함)로 토큰 시퀀스를 처리
• masked autoencoding 기반 self-supervised pretraining으로 마스킹된 neural activity patch를 재구성하도록 학습(Figure 2)
• 사전학습된 encoder를 frozen한 채 linear task decoder를 부착하여 여러 session의 behavior를 decoding
• unseen subject에 대한 zero-shot 및 few-shot behavior decoding, left-out brain region의 zero-shot 재구성 평가 수행

Originality

• widefield calcium imaging에 대해 multi-subject pretrained model을 최초로 제안한 시도로, 기존 single-session 중심 연구의 한계를 극복
• session-specific read-in/read-out layer나 learnable session token 없이 atlas 기반 tokenization만으로 cross-subject 일반화를 달성한 점이 다른 neural modality의 기존 접근과 차별화됨
• 다른 modality에서도 어려웠던 subject-invariant zero-shot continuous behavior decoding을 최초로 widefield 도메인에서 시연
• Allen Brain Atlas를 활용한 해부학적 정렬을 tokenization 단계에 직접 통합하여 subject-invariant anatomical embedding을 학습하도록 설계한 구조적 참신성

Limitation & Further Study

• 두 개의 behavioral task와 특정 widefield 데이터셋들에 한정되어 평가되었으며, 더 다양한 task/species/imaging protocol에 대한 일반화 검증이 필요
• atlas registration에 의존하므로 registration 오차나 atlas와 실제 개체 간 해부학적 변이가 클 경우 성능 저하 가능성이 존재
• zero-shot decoding 성능이 fully fine-tuned 모델 대비 어느 정도 격차가 있는지, 그리고 scale(더 많은 subject/session)에 따른 성능 향상 한계에 대한 심층 분석이 부족
• 향후 연구로 더 다양한 imaging modality, 종, task 조합으로 확장하고 모델 규모 및 사전학습 데이터 규모에 따른 scaling law 분석이 필요

Evaluation

총평: widefield calcium imaging 분야에서 multi-subject foundation model을 최초로 구현하고 session-free zero-shot behavior decoding을 시연했다는 점에서 방법론적, 실용적 기여가 크며, neural foundation model 연구 전반에도 시사하는 바가 큰 견고한 연구이다.