Cross-modal transfer learning for mapping bulk transcriptomes at cellular level

Motivation

• Known: Single-cell foundation model은 세포 상태에 대한 유연한 표현을 학습하지만 bulk transcriptomic input에는 적합하지 않으며, bulk 데이터로 학습된 foundation model은 single-cell 수준의 supervision을 포함하지 않는다. 또한 bulk 데이터만으로 patient endotype 및 phenotype을 예측하는 기존 방법은 predefined biomarker set에 의존하여 cohort 간 일반화 성능이 낮다.
• Gap: Single-cell과 bulk 두 modality를 연결하는 shared representation space가 부재하여, single-cell foundation model의 표현력을 bulk 임상 데이터에 일반화시켜 활용할 방법이 없었다.
• Why: Bulk transcriptomics는 임상 연구 및 진료에서 널리 사용되는 반면 single-cell 기술은 비용·계산적 제약으로 임상 의사결정에 활용되기 어렵다. 따라서 bulk 데이터로부터 세포 수준의 해석 가능한 구조를 추출할 수 있다면 immunotherapy response 예측과 같은 임상적으로 실행 가능한 바이오마커 발굴에 큰 의미를 가진다.
• Approach: POPPY는 Cell Ontology 그래프 상의 신호로 세포 유형 구성을 모델링하고, single-cell·pseudobulk·sorted bulk 데이터 간 optimal transport 기반 유사도를 soft supervision으로 사용하여 cross-modal contrastive alignment를 수행한다. 또한 cross-attention 기반 fine-tuning 모듈을 통해 bulk embedding으로 single-cell reference atlas를 query하여 cell-level attribution score를 산출한다.

Achievement

Figure 3. (a) POPPY preserves cell type and gene program propor-

1. Cell Ontology 기반 patient 유사도 정의: cell type composition을 Cell Ontology 그래프 상의 신호로 표현하고 Earth Mover's Distance(optimal transport)를 이용해 생물학적으로 구조화된 patient-patient 유사도 행렬 S를 정의하였다.
2. Cross-modal contrastive alignment 프레임워크 구축: single-cell encoder와 bulk encoder를 multi-positive KL divergence 기반 대조 학습으로 정렬하여, fine-tuning 없이 bulk tumor transcriptome으로부터 세포 유형 및 gene program 구조를 복원하였다.
3. Cross-cohort positive sampler 제안: cohort/assay 간 일반화를 향상시키기 위한 구조화된 positive sampling 전략을 도입하여 cohort 및 assay integration 성능을 개선하였다.
4. 임상 적용 검증: 1,458개 single-cell tumor sample(3CA)과 1,286개 sorted bulk profile(Zaitsev et al., 2022)로 학습하여, 6개 bulk melanoma cohort(330개 종양)에서 immunotherapy response 예측 성능을 bulk-only encoder 및 contrastive 학습 없는 fine-tuned model보다 향상시켰고, T cell·NK cell·memory B cell을 responder profile과 연관된 세포로 식별하여 기존 문헌과 일치하는 결과를 도출하였다.

How

Figure 2. (a) POPPY improves fidelity of cross-modal alignment

• Patient-level cell type composition을 확률 simplex 벡터로 표현하고 Cell Ontology 기반 ground metric D(shortest path distance)를 이용해 Earth Mover's Distance를 계산, graph diffusion kernel로 유사도 행렬 S를 도출
• Cell-level encoder Ec: 사전학습된 single-cell foundation model로 각 세포를 임베딩한 후 attention-weighted pooling(Ilse et al., 2018 방식)과 2-layer FFN으로 patient embedding zc 생성
• Bulk-level encoder Eb: 사전학습된 transcriptomic encoder로 유전자 토큰 임베딩 후 동일한 attention pooling과 FFN을 거쳐 zb 생성
• Multi-positive contrastive alignment: cross-modal 및 intra-modal logit matrix를 구성하고, S에서 유도된 soft label 분포 S̃와의 KL divergence를 양방향(Lc→b, Lb→c)으로 최소화
• Cross-cohort positive sampler로 서로 다른 cohort에서 positive를 우선 샘플링하여 cross-cohort/assay 일반화 촉진
• Optional cross-attention fine-tuning module로 phenotype label 예측 시 bulk embedding이 single-cell reference atlas를 query하여 per-cell attribution score 산출

Originality

• 기존 single-cell foundation model과 bulk foundation model이 각각 독립적으로 개발되어 온 것과 달리, 두 modality를 Cell Ontology 기반 그래프 신호와 optimal transport로 연결하는 soft supervision 설계가 독창적임
• Optimal transport 기반 patient 유사도를 contrastive learning의 supervision signal로 활용하는 방식은 annotation 차이에 강건한 생물학적 구조를 임베딩 공간에 내재화하는 새로운 접근임
• Cross-cohort positive sampler와 cross-attention 기반 cell-level attribution 모듈을 결합하여 해석 가능한 patient stratification을 가능하게 한 점이 novel함

Limitation & Further Study

• 학습에 사용된 sorted bulk profile 및 pseudobulk 데이터가 실제 임상 bulk 데이터의 이질성(예: 다양한 조직, 암종)을 완전히 대표하지 못할 가능성이 있으며 melanoma 외 다른 암종에 대한 일반화 검증이 제한적임
• Cell Ontology 그래프의 해상도 및 annotation 품질에 유사도 계산이 크게 의존하므로, ontology가 부정확하거나 세분화되지 않은 세포 유형에 대해서는 성능 저하가 우려됨
• Fine-tuning 모듈은 phenotype label이 존재하는 경우에만 적용 가능하여, label이 부족한 임상 상황에서의 활용성에 한계가 있음
• 후속 연구로는 다양한 암종과 비종양 질환으로의 확장, 대규모 전향적 임상 코호트에서의 검증, ontology 오류에 대한 강건성 분석 등이 필요함

Evaluation

총평: Single-cell과 bulk foundation model을 ontology 기반 optimal transport로 연결하는 독창적인 cross-modal contrastive learning 프레임워크로, 임상적으로 의미 있는 해석 가능한 bulk 임베딩을 제공한다는 점에서 임팩트가 크다. 다만 melanoma 중심의 검증에 국한되어 있어 다양한 질환 및 대규모 코호트로의 확장 검증이 향후 중요한 과제로 남는다.