SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome

Motivation

• Known: 기존 vision-language 기반 H&E-ST 정렬 연구들은 H&E tile과 ST profile을 단일 스케일에서 정렬하며, ST를 세포 단위 집계된 1D gene sequence로 표현하여 사용해 왔다. Xenium과 같은 고해상도 ST 플랫폼은 cell-level의 2D 공간 좌표 정보를 제공하지만 기존 방법들은 이를 충분히 활용하지 못했다.
• Gap: 기존 방법들은 ST를 1D 벡터로 취급하여 세포 간 공간적 조직(2D spatial organization)과 cell-cell interaction을 손실하며, 단일 스케일 정렬로 인해 미세한 세포 구조(micro)부터 조직 수준 구조(macro)까지의 계층적 정보를 포착하지 못한다. 또한 그래프 기반 ST 표현에서 message passing에 의한 receptive field 확장이 이미지 ROI 스케일과 불일치하는 문제(scope mismatch)가 해결되지 않은 채 남아있다.
• Why: 조직 구조는 세포 microenvironment, 세포 이웃의 mesoenvironment, 조직 수준의 macroenvironment까지 계층적으로 조직화되어 있어, 이를 포착하는 것은 종양미세환경 및 면역 회피 프로그램과 같은 생물학적으로 중요한 현상을 이해하는 데 핵심적이다. 정확한 multi-scale H&E-ST 정렬은 gene-expression prediction과 cross-modal retrieval 성능을 높여 컴퓨터병리학의 실용적 활용도를 높인다.
• Approach: SIGMMA는 H&E 이미지를 multi-crop 전략으로 micro/meso/macro 패치로 분할하여 인코딩하고, ST 데이터는 세포 좌표 기반 cell graph로 표현하여 계층적 그래프 구조 학습(intra-/inter-subgraph relationship)을 통해 이미지 스케일과 그래프 receptive field를 점진적으로 맞춘 후 multi-scale contrastive alignment를 수행한다.

Achievement

SIGMMA는 여러 데이터셋에서 gene-expression prediction과 cross-modal retrieval 성능을 일관되게 향상시켰으며, 학습된 multi-scale embedding이 췌장암(pancreatic cancer, PAAD)에서 종양미세환경(tumor microenvironment)과 면역 회피(immune-exclusion) 프로그램을 복원하는 데 성공했다.

How

• H&E 이미지를 4×4 micro, 2×2 meso, 1개 macro 패치로 multi-crop하고 각 스케일을 image foundation model f로 인코딩 후 mean pooling하여 zI_micro, zI_meso, zI_macro 생성
• ST 데이터를 세포 좌표 기반 cell graph G=(V,E)로 구성하고, GNN과 attention aggregation을 이용해 hierarchical graph structure learning 수행 (edge scoring 및 stochastic edge addition을 통한 edge sampling으로 receptive field를 점진적으로 확장)
• neighbor-patch constraint를 적용한 stochastic edge addition으로 그래프의 receptive field(RF)를 이미지 ROI 스케일에 맞춰 조정(RF-ROI reconciliation)
• micro/meso/macro 각 스케일에서 H&E 임베딩과 ST 임베딩 간 contrastive loss(L_micro, L_meso, L_macro)를 적용하는 multi-scale cross-modal contrastive alignment 수행

Originality

• ST를 1D gene sequence가 아닌 cell coordinate 기반 그래프로 표현하여 2D 공간 조직과 cell-cell interaction을 명시적으로 모델링한 최초의 시도
• micro-meso-macro의 세 가지 스케일에서 H&E와 ST를 동시에 정렬하는 multi-scale contrastive alignment 설계
• 그래프 message passing에 의한 receptive field 확장과 이미지 ROI 스케일 간 불일치(scope mismatch) 문제를 명시적으로 인식하고, stochastic edge addition을 통한 progressive receptive field expansion으로 이를 해결한 점

Limitation & Further Study

• Xenium과 같은 고해상도 cell-level ST 데이터에 의존하므로 Visium과 같은 spot-level 데이터에는 직접 적용이 어려울 수 있음
• 췌장암(PAAD) 단일 암종 위주의 생물학적 해석이 제시되어 다른 암종이나 조직 유형에 대한 일반화 가능성 검증이 부족함
• stochastic edge addition의 확률적 특성과 하이퍼파라미터 민감도에 대한 충분한 ablation이 제공되었는지 불분명하며, 대규모 WSI 전체에 대한 계산 비용 및 확장성 분석이 추가로 필요함

Evaluation

총평: ST를 그래프로 표현하고 H&E와 다중 스케일에서 정렬한다는 아이디어는 명확한 문제의식과 함께 참신하며, 정량적 성능 향상과 생물학적 해석 가능성을 동시에 보여준 점에서 인상적이다. 다만 다양한 암종·플랫폼에 대한 추가 검증과 계산 비용에 대한 논의가 보완되면 더 완성도 높은 연구가 될 것이다.