CalM: A Self-Supervised Foundation Model for Population Dynamics in Calcium Imaging Data

Motivation

• Known: 대규모 multi-animal, multi-session neural recording에 대해 Transformer 기반 neural foundation model이 encoding, decoding, forecasting 등 다양한 과제에서 성능 향상을 가져올 수 있음이 Neuropixels 등 spike 기반 데이터에서 입증되어 왔다.
• Gap: 그러나 functional calcium imaging trace에 대해서는 기존 접근법(POYO, Duan et al. 2025 등)이 behavior decoding 혹은 neural dynamics forecasting 중 하나의 task에만 특화되어 있어, 통일된 pretraining-finetuning 패러다임이 부재하고 재사용성이 제한된다.
• Why: 다양한 neuroscience 목적(예측, 디코딩, 해석)에 범용적으로 적용 가능한 calcium trace 전용 foundation model은 대규모 multi-animal 데이터셋 활용의 확장성과 재현성을 크게 높일 수 있어 시스템 신경과학 분석 프레임워크 발전에 중요하다.
• Approach: 이 논문은 calcium trace의 stereotyped transient 특성에 착안해 single-neuron trace를 공유 discrete vocabulary로 변환하는 고성능 VQ tokenizer를 만들고, 이를 기반으로 neural axis와 temporal axis 양쪽에 대한 의존성을 모델링하는 dual-axis autoregressive transformer(DAT)를 사전학습하는 2단계 self-supervised 프레임워크를 제안한다.

Achievement

1. 경쟁력 있는 forecasting 성능: CalM은 self-supervised pretraining만으로 neural population dynamics forecasting task에서 특화된 baseline들과 경쟁력 있는(또는 능가하는) 성능을 달성했다.
2. 우수한 behavior decoding 성능: backbone을 고정하고 task-specific head만 학습하는 방식으로 behavior decoding에 적용했을 때, 지도학습 기반 전용 decoding 모델보다 우수한 결과를 얻었다.
3. 해석 가능한 표현 학습: CalM 표현에 대한 linear analysis(PCA 등)를 통해 예측 정확도를 넘어서는 해석 가능한 functional structure와 low-dimensional dynamics를 발견했다.
4. 대규모 데이터셋 검증: 8마리 동물, 286세션, 273,770개 뉴런 규모의 실제 실험 데이터셋과 시뮬레이션 데이터, 추가 mouse 및 C. elegans 데이터셋에서 프레임워크의 확장성과 범용성을 입증했다.

How

• Neural Quantizer(NQ): calcium trace의 fast rise-slow decay 특성을 고려해 VQ-VAE 기반 아키텍처로 single-neuron trace를 shared discrete vocabulary로 변환하는 tokenizer를 학습한다. Cross-entropy 기반 목적함수가 MSE보다 autoregressive 모델링에 적합하다고 논증한다.
• Dual-Axis Autoregressive Transformer(DAT): tokenize된 데이터 위에서 neuron 축(population 내 뉴런 간 의존성)과 time 축(trial 내 시간적 의존성)을 모두 모델링하는 autoregressive transformer를 사전학습한다.
• Downstream 적용: 사전학습된 backbone을 고정하고 task-specific head를 추가해 forecasting과 behavior decoding(roll, pitch, yaw angular velocity 예측)에 적용한다.
• 평가 데이터: 고정된 recurrent weight matrix 기반 시뮬레이션 데이터(Eq. 1)와 Tseng et al. (2022)의 실제 navigation decision-making task 데이터셋(8 동물, 286 세션, 273,770 뉴런, 6개 뇌 영역)을 사용해 검증하며, 추가 mouse 및 C. elegans 데이터셋으로 일반화 가능성을 확인한다.
• 해석 분석: PCA 등 linear analysis를 통해 embedding의 functional distribution과 low-dimensional dynamics 포착 여부를 분석한다.

Originality

• calcium imaging trace 전용으로 설계된 최초의 통합 self-supervised foundation model 프레임워크를 제안하여, 기존에 forecasting과 decoding으로 나뉘어 있던 task-specific 접근을 하나의 pretraining-finetuning 패러다임으로 통합했다.
• neuron 축과 time 축을 동시에 모델링하는 dual-axis autoregressive transformer 구조는 spike 기반 NFM(POYO 등)이나 일반 MTS forecaster(iTransformer, PatchTST)와 차별화되는 calcium 데이터 특화 설계다.
• calcium trace의 생물학적 특성(stereotyped transient shape)에 착안해 VQ 기반 discrete tokenization과 cross-entropy 목적함수를 결합함으로써, autoregressive generative modeling의 성공 사례를 신경과학 데이터에 접목한 점이 독창적이다.

Limitation & Further Study

• Abstract와 본문 사이에 forecasting 성능에 대한 표현이 다소 불일치(“outperforms” vs “competitive performance”)하여 실제 성능 우위 정도가 모호하게 제시되어 있다.
• 평가가 주로 단일 실제 데이터셋(Tseng et al. 2022)과 소수의 추가 데이터셋에 국한되어 있어, 더 다양한 task(예: 다른 행동 변수, 다른 뇌 영역, 다른 imaging modality)에 대한 일반화 검증이 필요하다.
• backbone을 고정한 채 head만 학습하는 방식이 일부 downstream task에서 최적이 아닐 수 있으며, fine-tuning 전체 backbone 대비 성능 비교나 scaling law 분석이 제한적이다.
• 향후 연구로는 더 다양한 종(species) 및 imaging modality, 그리고 실시간 온라인 적용 가능성에 대한 추가 검증이 필요해 보인다.

Evaluation

총평: calcium imaging 데이터에 특화된 최초의 범용 self-supervised foundation model을 제안하고 forecasting, decoding, 해석 가능성까지 폭넓게 검증한 점에서 의미 있는 기여이나, abstract와 본문 간 성능 서술 불일치와 제한적인 데이터셋 다양성은 다소 아쉬운 점이다.