CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

Motivation

• Known: 단일모달 파운데이션 모델(Geneformer, scGPT, scFoundation 등)은 대규모 단일 셀 데이터셋에서 양질의 셀 표현을 학습했으나, 멀티모달 통합 분석을 위한 유연한 파운데이션 모델은 부족한 상태였다. 기존 contrastive learning 기반 멀티모달 모델(scCLIP, SCARF)들은 페어드 모달리티에 특화되어 있고 미페어드 또는 3개 이상의 모달리티 처리에 제한이 있었다.
• Gap: 대규모 멀티모달 단일세포 데이터를 효과적으로 활용하면서도 RNA-only, ATAC-only, 페어드 입력을 유연하게 처리할 수 있는 통합 파운데이션 모델이 필요하다. 또한 페어드 데이터의 부족을 극복하면서도 미페어드 단일모달 데이터를 충분히 활용할 수 있는 아키텍처 설계가 핵심 과제였다.
• Why: scRNA-seq과 scATAC-seq은 상호보완적 생물학적 정보를 제공하므로, 이 두 모달리티의 통합 분석은 세포 상태와 조절 메커니즘을 더 포괄적으로 이해하는 데 중요하다. 또한 atlas 규모의 대규모 멀티모달 데이터 축적에 따라 확장 가능하고 일반화 가능한 파운데이션 모델의 필요성이 증대되었다.
• Approach: BEiT-3 아키텍처의 multiway Transformer를 기반으로 하여, 두 개의 단일모달 브랜치(scRNA-seq, scATAC-seq)와 멀티모달 브랜치(페어드 RNA-ATAC)로 구성한다. 조화로운 토큰화로 RNA와 ATAC 데이터를 모두 2,000 길이의 균일한 토큰 시퀀스로 표현하고, 단계적 마스크된 재구성 사전학습 전략(stage-wise masked reconstruction pretraining)을 통해 크로스모달 조건부 마스크 목표로 모달리티 간 정렬성과 상호보완성을 학습한다.

Achievement

Fig. 3: Modality fusion of RNA expression and chromatin accessibility. a, Bubble plot summarizing per-dataset

CLM-X는 10개 데이터셋 5개 다운스트림 과제 전반에서 기존 멀티모달 통합 방법과 단일모달 파운데이션 모델을 지속적으로 능가한다:

• RNA-ATAC 크로스모달 변환: 필터링되지 않은 전체 입력으로 모델링 가능하며 전규모 크로스모달 예측을 지원하여 기존 방법의 능력을 초월한다.
• 셀 타입 주석 및 섭동 예측: 기존 과제 특화 모델과 단일모달 파운데이션 모델을 초과한다.
• 배치 보정 및 모달리티 통합: 모든 벤치마크에서 일관된 성능 향상을 달성한다.
• 미페어드 데이터 활용: 풍부한 단일모달 데이터셋을 효율적으로 활용하면서 페어드 데이터 의존성을 감소시킨다.

How

Fig. 1: CLM-X workflow. a, Pretraining data and modality-specific preprocessing. CLM-X is pretrained on scRNA-seq

• BEiT-3의 multiway Transformer 아키텍처를 단일세포 멀티모달 분석에 맞게 적응
• 조화로운 토큰화 설계로 RNA와 ATAC을 동일한 길이(2,000)의 토큰 시퀀스로 정규화
• 세 개의 변환기 브랜치 구조로 단일모달 데이터와 페어드 데이터를 동시에 처리
• 크로스모달 조건부 마스크 및 재구성 목표를 통한 멀티모달 사전학습
• 36백만 scRNA-seq 셀, 280만 scATAC-seq 셀, 37만 페어드 셀에 대한 대규모 사전학습
• 배치 보정, 모달리티 통합, 크로스모달 변환, 셀 타입 주석, 섭동 예측 등 5가지 다운스트림 과제별 미세조정 파이프라인 제공

Originality

• 멀티모달 파운데이션 모델의 확장성: contrastive learning 대신 masked reconstruction 기반 사전학습으로 미페어드 데이터 활용 가능성을 확대하여 페어드 데이터 의존성 감소
• 조화로운 토큰화 설계: 구조적으로 이질적인 RNA 발현과 ATAC 접근성 데이터를 동일 길이의 균일한 토큰으로 표현하는 혁신적인 접근법
• 유연한 입력 처리: 단일 Transformer 프레임워크 내에서 RNA-only, ATAC-only, 페어드 입력을 동시에 처리할 수 있는 일반화된 구조
• 대규모 멀티모달 사전학습: atlas 규모의 데이터셋(3,600만 + 280만 셀)으로 사전학습하여 기존 연구보다 훨씬 큰 규모의 데이터 활용

Limitation & Further Study

• 토큰화 길이 고정화: 2,000 길이로 고정된 토큰화는 세포의 수(cell count) 변동성이 큰 표본에서 정보 손실 또는 과잉 표현 가능성이 있다.
• 페어드 데이터의 제한적 활용: 사전학습에 사용된 37만 페어드 셀은 전체 사전학습 데이터의 약 1% 미만이므로, 멀티모달 정렬성을 충분히 학습했는지 불명확하다.
• 기술 특이성: scRNA-seq과 scATAC-seq에만 특화되어 있으며, 추가 모달리티(단백질, 공간 정보 등) 확장성은 제시되지 않았다.
• 후속 연구 방향: (1) 더 많은 고품질 멀티모달 페어드 데이터 수집으로 크로스모달 학습 개선, (2) 동적 토큰화 길이 설정으로 다양한 셀 개수 처리, (3) 추가 모달리티(단백질, 공간)로 확장, (4) 생물학적 해석가능성 심화 분석

Evaluation

총평: CLM-X는 멀티모달 단일세포 분석을 위한 체계적이고 확장 가능한 파운데이션 모델을 제시한 역작이다. 조화로운 토큰화와 유연한 Transformer 아키텍처를 통해 미페어드 및 페어드 데이터를 동시에 활용하며, 5개 다운스트림 과제에서 기존 방법들을 일관되게 능가한다. 특히 RNA-ATAC 크로스모달 변환 성능의 획기적 개선과 대규모 사전학습 규모는 이 분야의 표준을 새로 정립한다. 다만 토큰화 길이 고정화, 제한적인 페어드 데이터 활용, 기술 특이성 측면에서 개선 여지가 있다.