Self-Supervised Contextual Representation Learning for Transcriptomic Generative AI

Motivation

• Known: single-cell transcriptomics 분야에서는 Geneformer, scGPT 등 transformer 기반 self-supervised foundation model이 성공적으로 적용되어 왔으며, bulk RNA-seq에도 BulkRNABert, GexBERT와 같은 masked pretraining 기반 모델이 최근 제안되었다.
• Gap: 기존 bulk transformer 모델들은 discretization이나 expression-value reconstruction objective를 통해 표현 학습을 발현 magnitude에 결합시키므로, 서로 다른 normalization scheme과 cohort 간 이식성이 떨어진다는 한계가 있다.
• Why: Normalization scheme과 cohort에 무관하게 재사용 가능한 bulk RNA-seq encoder는 다양한 downstream task(암종 분류, pathway 활성 예측, 생존 분석 등)에 fine-tuning 없이 적용될 수 있어 translational genomics 연구의 확장성과 재현성을 크게 높일 수 있다.
• Approach: SpecFormer는 (1) TF-IDF 기반 gene ordering으로 시퀀스 구성을 발현 scale로부터 분리하고, (2) masked gene identity prediction으로 수치 재구성 없이 유전자 간 문맥적 co-occurrence 구조를 학습하는 두 가지 설계를 통해 기존 한계를 극복한다.

Achievement

1. 암종 분류 성능: TCGA 33개 암종에 대해 frozen embedding과 경량 MLP head만으로 90.83%의 accuracy와 macro AUC-ROC 0.997, MCC 0.9036을 달성했다.
2. Ordering 방식의 우수성 입증: TF-IDF ordering이 expression-value ordering(84.81%) 및 Z-score ordering(80.02%)보다 유의하게 우수함을 보여, cohort-level gene specificity가 정보량 있는 ordering 신호임을 확인했다.
3. 문맥적 표현 학습의 필요성 확인: non-contextual top-200 TF-IDF logistic regression baseline(65.00%)과 큰 격차를 보여 masked gene modeling이 gene identity만으로는 얻을 수 없는 gene-to-gene contextual relationship을 포착함을 입증했다.
4. Pathway 공조절 구조 포착: 1,387개 PARADIGM pathway에 대해 sample-wise Pearson correlation 0.754, pathway-wise Pearson correlation 0.762를 달성하여 발현값 재구성 없이도 pathway co-regulation 구조를 일관되게 학습함을 보였다.
5. Cross-cohort 일반화: 별도의 재학습 없이 독립적인 GTEx 건강 조직 데이터에서도 tissue-level transcriptomic organization을 보존함을 확인했다.
6. 풍부한 embedding geometry: BulkRNABert 대비 훨씬 높은 effective rank(95.6 vs. 6.3)를 보이며 histological subtype discrimination에서도 더 안정적인 결과를 보였다.

How

• 각 bulk RNA-seq 발현 프로파일에 대해 within-sample abundance(term frequency)와 cohort-level specificity(inverse document frequency)를 결합한 TF-IDF score로 유전자를 내림차순 정렬하여 sample-specific gene sequence를 구성.
• 전체 transcriptome(~10,000 genes)이 표준 BERT 입력 한도를 초과하므로, 길이 L=512, stride 256(50% overlap)의 overlapping sliding window로 분할하여 각 window를 독립적 학습 인스턴스로 사용.
• BERT 스타일 masked gene modeling(MGM) objective로 각 window에서 15%의 gene-token position을 무작위 선택(80% [MASK], 10% random gene, 10% 유지)하여 masked gene identity를 문맥으로부터 예측하도록 12-layer, hidden 768, 12-head transformer encoder를 pretraining.
• Pretraining 후 encoder를 고정(frozen)하고, window-level token embedding을 mean-pooling한 뒤 gated attention pooling module로 결합하여 fixed-dimensional sample embedding z(s)∈R^768을 생성, 이를 downstream task(cancer-type classification, pathway activity regression, survival analysis 등)에 fine-tuning 없이 사용.
• TCGA Pan-Cancer 8,315 샘플(5가지 normalization scheme: batch-effect normalized, expected counts, FPKM, TPM, normalized counts)로 pretraining, 90/5/5 train/val/test split을 pretraining과 모든 downstream 평가에 일관되게 적용, TF-IDF 통계는 각 split 내에서 계산하여 leakage 방지.

Originality

• 발현값 magnitude가 아닌 TF-IDF 기반 specificity-weighted ordering으로 시퀀스를 구성하여, sequence construction을 expression scale로부터 완전히 분리한 최초의 접근.
• Discretization이나 reconstruction 없이 masked gene identity prediction만으로 bulk RNA-seq를 pretraining한다는 점에서 기존 BulkRNABert, GexBERT와 근본적으로 다른 self-supervision objective를 채택.
• Single-cell 도메인의 rank-based ordering(Geneformer) 아이디어를 bulk RNA-seq의 통계적 특성(정규화 의존성, 낮은 within-cohort granularity)에 맞게 TF-IDF 기반으로 재설계.
• Gated attention pooling을 통한 window-level aggregation으로 transcriptome 전체 길이를 다루는 실용적 해법 제시.

Limitation & Further Study

• Abstract 및 발췌본에서 survival analysis(OS, DSS, PFI, DFI) 결과가 구체적 수치 없이 소개부만 제시되어 있어 실제 임상적 유효성 검증이 부족함.
• TCGA와 GTEx라는 특정 cohort/조직 유형에 국한된 평가로, 더 다양한 질환 및 인구집단, 시퀀싱 플랫폼에 대한 일반화 검증이 필요.
• Encoder를 downstream task에서 완전히 고정(frozen)하는 설계가 특정 task에 대한 미세한 성능 최적화 여지를 제한할 수 있어, fine-tuning 대비 성능 trade-off에 대한 추가 분석이 필요.
• TF-IDF ordering이 gene co-occurrence 구조를 얼마나 생물학적으로 해석 가능하게 반영하는지에 대한 심층적 해석(interpretability) 연구가 부족.
• Window 분할(L=512, stride 256) 및 마스킹 비율(15%) 등 하이퍼파라미터에 대한 민감도 분석이 본문 발췌에서 충분히 제시되지 않음.

Evaluation

총평: Bulk RNA-seq 전용 self-supervised foundation model을 위해 발현 magnitude와 분리된 TF-IDF ordering 및 masked gene identity prediction이라는 새로운 조합을 제시하고, 다양한 normalization scheme과 cohort 간 이식성을 실증적으로 입증한 견실한 연구이다. 다만 survival analysis 등 일부 결과의 구체성 부족과 생물학적 해석 가능성에 대한 추가 검증이 향후 과제로 남는다.