MESH-HR: Multimodal Fusion of Histopathology and Structured Somatic Genomics for Continuous Breast Cancer Receptor Subtyping

Motivation

• Known: H&E 형태학이 유방암 분자 아형을 예측할 수 있다는 것과 somatic mutation 프로파일이 tissue-of-origin 분류에 활용될 수 있다는 것은 이미 각각 개별적으로 알려져 있었다.
• Gap: 기존 연구들은 이미지 또는 유전체 중 한 모달리티만 사용하거나 이진 라벨만 산출했으며, 두 모달리티를 융합해 연속 확률을 추정하거나 IHC 검사가 불가능한 CUP 코호트에서 검증된 사례는 없었다.
• Why: CUP은 전체 악성종양의 3-5%를 차지하며 원발 부위를 모르기 때문에 표준 수용체 프로파일링이 거의 시행되지 않아 표적 치료 기회를 놓치는데, MESH-HR은 이런 환자군에서도 수용체 상태를 추정해 치료 전략 수립을 가능하게 한다는 점에서 임상적으로 중요하다.
• Approach: MESH-HR은 ABMIL 기반 비전 인코더(WSI 패치 임베딩 UNI 사용)와 somatic 유전체 특징(mutation, CNA, mutational signature) 기반 XGBoost 모델을 receptor별로 다르게 앙상블(가중평균 또는 logistic meta-learner)하는 two-branch 융합 구조를 사용한다.

Achievement

Figure 1. Overall survival stratified by MESH-HR prediction. Kaplan–Meier curves for (A) CUP patients stratified by pred

1. 높은 분류 성능: 1,300건 이상의 유방암 데이터로 학습하여 held-out에서 ER 0.94, PR 0.83, HER2 0.96의 AUC를 달성, 단일 모달리티 baseline을 모두 능가함.
2. Zero-shot 일반화: TCGA-BRCA 외부 코호트에 재학습 없이 적용해 ER 0.90, PR 0.91, HER2 0.94의 AUC를 달성, 기존 imaging-only 방법(ReceptorNet, Farahmand et al.)을 능가.
3. 기존 방법 대비 우위: EXPAND(핵 형태 기반 imaging-only 방법)와 비교해 HER2+, HR+, TNBC 분류에서 balanced accuracy 0.91/0.81/0.65로 EXPAND(거의 무작위 수준인 0.50)를 크게 상회.
4. 생물학적 해석 가능성: attention 분석에서 종양 조직에 높은 주의가 집중되고, HER2 예측은 ERBB2 CNA, ER 예측은 TP53 mutation에 의해 주도되는 등 생물학적으로 타당한 학습 패턴을 확인.
5. 예후 예측력 향상: 연속 확률 출력이 이진 임상 라벨보다 생존 계층화(survival stratification)에서 더 우수하며, CUP 코호트에서도 생물학적으로 일관되고 생존 예측력이 있는 수용체 추정치를 제공.

How

• Dana-Farber PROFILE 코호트에서 1,368건의 CKP(cancers of known primary) 사례를 H&E WSI와 somatic genomic profile 쌍으로 수집
• GPT-4 기반 LLM 파이프라인으로 비정형 병리 리포트에서 ER/PR/HER2 라벨을 대규모 추출하고 일부 수동 검증
• WSI는 TRIDENT로 256x256 패치 분할 후 UNI로 패치 임베딩 생성, gated ABMIL로 슬라이드 단위 표현 집계
• 유전체 branch는 gene별 binary mutation indicator, gene-level CNA score, mutational signature weight를 특징으로 하는 XGBoost 분류기를 receptor별로 학습
• 두 branch의 예측을 receptor별로 다른 앙상블 방식(ER/HER2는 가중평균, PR은 logistic meta-learner)으로 융합, out-of-sample cross-validation으로 앙상블 방식 선택
• 5-fold nested cross-validation과 randomized hyperparameter search로 학습 및 평가, TCGA-BRCA와 CUP 코호트에 zero-shot 적용

Originality

• H&E 이미지와 구조화된 somatic genomic 데이터를 receptor subtyping을 위해 최초로 공동 융합한 멀티모달 프레임워크 제시
• 연속 확률 기반 receptor 상태 출력을 통해 이진 IHC 임계값에서 손실되는 예후 정보를 복원한다는 새로운 관점 제시
• GPT-4 기반 LLM을 이용한 대규모 비정형 병리 리포트 라벨 추출 파이프라인을 통해 수작업 큐레이션 없이 대규모 학습 코호트 구축
• IHC 검사가 불가능한 CUP 코호트에 zero-shot으로 적용해 receptor 상태를 추정한 최초 사례로, 임상적으로 소외된 환자군에 대한 실질적 적용 가능성 제시

Limitation & Further Study

• GPT-4 기반 라벨 추출의 정확도가 일부 수동 검토로만 검증되어, 라벨 노이즈가 성능 평가에 미치는 영향에 대한 체계적 정량화가 부족함
• 단일 기관(Dana-Farber PROFILE) 코호트 기반 학습으로 인구통계·병리 프로토콜의 다양성이 제한적일 수 있음, TCGA-BRCA 외 추가 다기관 외부 검증 필요
• CUP 코호트에서는 IHC ground truth가 부재하여 모델 예측의 정확성을 직접 검증할 수 없고 간접적 생존 분석과 생물학적 일관성에만 의존
• 유전체 branch가 XGBoost 기반의 상대적으로 단순한 tabular 모델로, 더 복잡한 유전체-이미지 교차 상호작용을 포착하는 deep fusion 구조에 대한 탐색 여지가 있음
• PR 예측 성능(AUC 0.83)이 상대적으로 낮아 추가적인 특징 공학이나 모달리티 보강이 필요할 수 있음

Evaluation

총평: 임상적으로 소외된 CUP 환자군에 대한 실질적 해결책을 제시하는 참신하고 임팩트 있는 멀티모달 연구로, 대규모 코호트와 외부 검증을 통해 견고한 성능을 입증했으나 라벨 추출 신뢰성과 다기관 일반화에 대한 추가 검증이 필요하다.