Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Motivation

• Known: CONCH, UNI, MUSK, Virchow와 같은 pathology FM 및 UCE와 같은 transcriptomic FM이 training-free feature extractor로서 우수한 transferability를 보인다는 사실이 공개 벤치마크에서 보고되어 왔다.
• Gap: 기존 FM 평가는 주로 pretraining corpus와 겹치거나 유사한 공개 벤치마크에서 수행되어, 실제 상업적으로 수집된 distribution shift가 있는 데이터셋에 대한 FM representation의 일반화 가능성과 신뢰성은 충분히 검증되지 않았다.
• Why: 임상 의사결정 지원을 위해서는 FM representation이 실세계의 out-of-distribution 데이터에서도 신뢰할 수 있는 성능을 내는지, 그리고 point prediction이 실패했을 때 불확실성 정보가 임상적으로 유용한 대안을 제공하는지가 매우 중요하기 때문이다.
• Approach: 본 연구는 IH-BC, IH-NSCLC라는 두 개의 실제 상용 종양학 코호트에서 다섯 가지 FM(4개 image FM, UCE 포함 3개 omics encoder)의 unimodal probing 성능을 여덟 개 downstream classification task에 대해 벤치마킹하고, 세 가지 image-omics fusion 전략을 비교한 뒤 conformal prediction으로 신뢰성을 평가한다.

Achievement

1. Unimodal probing 벤치마크: CONCH, UNI, MUSK, Virchow(image)와 UCE, scVI, PCA(omics) representation을 IH-BC/IH-NSCLC의 8개 downstream task에서 probing하여 image와 omics representation이 상호 보완적인 예측 신호를 지님을 확인했다.
2. Multimodal fusion 비교: CONTACT, MCAT, LateMIL 세 가지 image-omics fusion 전략을 paired representation 기반으로 비교하여, 단일 modality가 신호를 지배하지 않는 task에서 multimodal fusion이 추가적인 성능 향상을 제공함을 보였다.
3. Trustworthiness 평가: conformal prediction을 적용해 선정된 unimodal·multimodal pipeline의 예측 불확실성과 subgroup 간 성능 격차를 정량화하고, point prediction이 실패한 대다수 경우에도 실제 진단이 prediction set 내에서 회복 가능함을 규명했다.

How

• 미국 기반 deidentified Flatiron Health-Caris Life Sciences 유방암 및 비소세포폐암 Clinical-Molecular Database(CMDB)를 사용, 임상 데이터와 Caris Life Sciences MI Profile™ 분자 데이터를 probabilistic matching으로 연결
• IH-BC(LOH, PR status, PIK3CA status, Biopsy Site, Breast Cancer Subtype)와 IH-NSCLC(Biopsy Site, Tumor Site, TMB) 총 8개 downstream task 구성, 데이터는 training/calibration/validation/test로 7:3:1:1 분할
• Representation extraction 단계: tile-level image FM(CONCH, UNI, Virchow, MUSK) 및 omics FM(UCE), 비교군으로 scVI, PCA 사용
• Representation learning 단계: unimodal 방법(HEMIL, GeneMLP)과 multimodal fusion 방법(CONTACT, MCAT, LateMIL) 적용
• 평가지표로 ACC, AUC, ROC curve 사용
• 선정된 pipeline에 대해 conformal prediction(Angelopoulos & Bates, 2021)을 적용하여 coverage guarantee 및 demographic subgroup 간 성능 격차 분석

Originality

• 공개 벤치마크가 아닌 실제 상용(commercial) in-house 종양학 데이터셋(IH-BC, IH-NSCLC)을 활용하여 distribution shift 상황에서 FM representation의 일반화 가능성을 검증한 최초의 체계적 시도
• 다섯 개의 서로 다른 image/omics FM을 동일한 8개 downstream task에 대해 통일된 프로토콜로 비교 평가하는 대규모 벤치마킹 설계
• 단순 성능 비교를 넘어 conformal prediction을 통한 uncertainty-aware trustworthiness 분석을 multimodal cancer diagnosis pipeline에 결합한 점

Limitation & Further Study

• 평가가 IH-BC, IH-NSCLC라는 특정 두 암종, 특정 상용 데이터 소스에 국한되어 있어 다른 암종이나 기관에 대한 일반화 가능성은 추가 검증이 필요함
• Fusion 전략이 CONTACT, MCAT, LateMIL 세 가지로 제한되어 있어 더 다양한 최신 cross-modal attention 기법과의 비교가 부족함
• conformal prediction 결과에서 드러난 task-specific disparity(서브그룹 간 성능 격차)에 대한 원인 분석과 완화 전략이 후속 연구로 남아 있음
• Appendix에 상세 설명이 위임된 부분(전처리, 방법론 세부사항)이 많아 본문만으로는 재현성 검증이 제한적임

Evaluation

총평: 실제 상용 종양학 데이터셋을 활용해 FM representation의 일반화 가능성과 multimodal fusion의 실효성, 그리고 conformal prediction을 통한 신뢰성까지 종합적으로 다룬 실용적이고 시의적절한 연구이다. 특정 암종 및 코호트에 한정된 실험 범위는 한계이지만, 임상 적용을 고려한 uncertainty-aware 평가 프레임워크로서 후속 연구에 유의미한 참고가 될 것이다.