Contrastive Learning for Gene Set Enrichment Analysis Post-Processing

Motivation

• Known: GSEA는 transcriptomics에서 널리 쓰이는 도구이지만 한 번의 실행으로 수백~수천 개의 유의미한 pathway를 반환하여 해석이 어렵다. EnrichmentMap, REVIGO, GeneSetCluster 2.0 등 기존 post-processing 도구들은 Jaccard Index, Szymkiewicz–Simpson, relative risk 같은 pairwise gene set overlap 기반 유사도로 pathway를 클러스터링해왔다.
• Gap: 기존 overlap 기반 방법들은 모든 유전자를 동일하게 취급하며, 전체 pathway 쌍의 84.2%가 gene overlap이 전혀 없어 유사도가 0으로 처리되고, pathway 제목·설명 등 풍부한 텍스트 정보를 거의 활용하지 못하며, unseen pathway에 일반화되는 임베딩 함수도 제공하지 못한다는 근본적 한계가 있다.
• Why: GSEA는 계산생물학에서 가장 널리 쓰이는 분석 도구 중 하나이므로, 결과 해석을 자동화하고 gene overlap이 없는 생물학적으로 관련된 pathway까지 포착할 수 있는 방법은 재현성 있고 확장 가능한 downstream 해석에 중요한 실질적 기여를 한다.
• Approach: CLIP에서 영감을 받아 gene set 임베딩(GSFM)과 pathway 설명 텍스트 임베딩(PubMedBERT)을 공유 잠재공간에 정렬하는 contrastive learning framework를 제안하며, 핵심적으로 identity matrix와 gene set overlap(SS) matrix를 λ로 blend한 soft-target contrastive loss를 도입해 생물학적으로 유사한 pathway들이 임베딩 공간에서 가까이 위치하도록 한다.

Achievement

1. Cross-modal retrieval 성능: 5개 혈액암 코호트의 held-out GSEA 결과에서 validation R@5 59.8%, test R@5 51.3%를 달성했다.
2. 클러스터링 품질 향상: 가장 강력한 overlap 기반 baseline 대비 mean NES sign coherence 92.4%, within-cluster gene set overlap 3.3배, silhouette score 3.9배 향상을 보였다.
3. Ablation을 통한 설계 검증: soft-target loss, PubMedBERT의 biomedical pretraining, title+description 결합 입력, foundation encoder fine-tuning 각각이 성능에 기여함을 확인했다.
4. 오픈소스 공개: 모델을 HuggingFace(DaveLab/gtCLIP)에 공개해 재현성과 재사용성을 확보했다.

How

• 12,612개 gene set으로 구성된 pathway corpus를 GOBP/GOCC/GOMF, KEGG, Reactome, WikiPathways, BioCarta, PID 등 여러 데이터베이스에서 취합하고, 데이터베이스 편향 방지를 위해 출처 언급을 제거함.
• gene set은 GSFM, pathway 텍스트(제목+설명)는 PubMedBERT로 인코딩한 뒤 MLP projection head로 공유 latent space(dimension d)에 투영, GSFM 전체 레이어와 PubMedBERT의 마지막 10개 레이어를 fine-tuning함.
• Equation 1의 Szymkiewicz–Simpson overlap과 identity matrix를 λ로 blend한 soft-target matrix P(Equation 2)를 구성하고, 이를 target으로 하는 symmetric KL divergence 기반 contrastive loss(Equations 3-5)를 사용함.
• gene set membership을 예측하는 auxiliary decoder MLP를 두어 reconstruction loss(BCE)를 α 가중치로 총 loss에 추가(Equation 6), λ와 α는 Bayesian hyperparameter optimization으로 튜닝.
• 평가 시 GSEA 결과의 pathway를 학습 데이터에서 완전히 제외하는 zero-shot GSEA-aware data split을 적용하고, 5개 혈액암 RNA-seq 코호트(train 8,943 / validation 1,797 / test 1,872 pathways)와 외부 COVID-19 결과셋으로 평가함.
• cosine similarity 기반 kNN graph를 구성하고 Louvain/agglomerative community detection으로 클러스터를 생성, LLM 기반 cluster 요약을 적용함.
• baseline으로 JI, SS, RR overlap 기반 방법과 TF-IDF, 그리고 state-of-the-art인 GeneSetCluster 2.0과 비교, cross-modal retrieval(R@k, MRR)과 클러스터링 품질(NES sign coherence, within-cluster overlap, silhouette score)로 평가.

Originality

• CLIP 스타일 contrastive learning을 GSEA post-processing에 최초로 적용한 시도로, gene set과 텍스트라는 이질적 modality를 정렬하는 새로운 문제 설정을 제시함.
• 표준 InfoNCE의 hard identity target 대신 gene set overlap 정보를 반영한 soft-target(soft label) contrastive loss를 고안하여, cross-modal 정렬과 생물학적 유사도 보존을 동시에 달성하는 독창적 손실함수 설계를 제안함.
• gene set decoder를 통한 auxiliary reconstruction loss로 공유 임베딩 공간에 생물학적 신호를 유지하도록 하는 보조 학습 목표를 결합함.

Limitation & Further Study

• 평가가 혈액암(hematological malignancy) 코호트와 COVID-19 결과셋 등 제한된 도메인에 국한되어 있어, 다양한 질환·조직 유형에 대한 일반화 가능성을 추가로 검증할 필요가 있음.
• retrieval Recall@5가 절반 수준(51.3~59.8%)에 그쳐 여전히 개선 여지가 있으며, cross-modal alignment의 한계를 더 분석할 필요가 있음.
• gene set overlap(SS) 계산이 유전자 크기에 의존하는 min(|A|,|B|) 정규화를 사용하므로, 극단적으로 크기 차이가 큰 pathway 쌍에서 편향이 발생할 가능성에 대한 논의가 부족함.
• LLM 기반 cluster 요약 방식의 품질 평가(정확성, hallucination 여부 등)가 본문에서 상세히 제시되지 않아 후속 검증이 필요함.

Evaluation

총평: GSEA post-processing이라는 실용적이고 중요한 문제에 contrastive multimodal learning을 최초로 적용하고, gene overlap 정보를 손실 함수에 창의적으로 통합한 견고한 방법론적 기여가 돋보이는 워크숍 논문이다. 다만 평가 도메인의 다양성 확대와 retrieval 성능 개선이 향후 과제로 남는다.