HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning

Motivation

• Known: 기존 연구들은 pathology foundation model을 대규모 WSI로 사전학습하거나, H&E 이미지에서 gene expression을 예측하는 supervised 모델, 혹은 CLIP류의 contrastive alignment로 image-ST 임베딩을 정렬하는 방식을 사용해왔다. 이러한 접근들 대부분은 spot 기반(Visium) 혹은 probe 기반(Xenium) 데이터 중 한쪽에만 국한되어 학습되며, transcriptomics는 학습 신호로만 활용되어 추론 시에는 이미지만 사용하는 image-centric 구조를 유지한다.
• Gap: Visium(spot 기반, coarse resolution)과 Xenium(probe 기반, 개별 transcript 좌표)은 데이터 특성이 근본적으로 달라 하나의 모델로 함께 학습하기 어렵고, 기존 contrastive 방법들은 coarse patch 수준에서만 supervision을 적용해 transcript 분포와 이미지 내용 간의 세밀한 공간적 대응관계를 활용하지 못한다. 또한 ST가 추론 시 실제로 사용 가능한 경우에도 단순 concatenation이나 averaging을 넘어서는 깊은 cross-modal fusion 방법이 부재하다.
• Why: 임상 현장에서는 H&E 이미지가 저렴하고 널리 사용 가능한 반면 ST는 고비용이라 드물게만 확보 가능하므로, image-only 추론 성능을 유지하면서도 ST가 있을 때는 이를 적극 활용해 성능을 높이는 유연한 멀티모달 모델은 임상적 실용성과 연구적 가치 모두에서 중요하다.
• Approach: 저자들은 사전학습된 vision-only pathology foundation model에서 시작해, Xenium과 Visium 데이터 모두를 다양한 공간 해상도(T 크기 조절)로 transcript token화하고 이를 image patch token과 concatenate하여 shared ViT stack에서 처리하는 early-fusion 아키텍처를 제안하고, DINOv2 기반 self-supervised pretraining을 계속 이어간다.

Achievement

Figure 1. Early-fusion multimodal model architecture and cross-modal loss. A) Input patches contain the H&E image and th

1. Image-only 추론 시 성능 유지 및 향상: 이미지만으로 추론할 때 대부분의 태스크에서 baseline과 동등한 성능을 유지하면서, gene expression prediction처럼 분자 지식이 필요한 태스크에서는 성능이 향상됨을 보였다.
2. 멀티모달 추론의 우위 입증: image와 transcript 두 모달리티를 함께 제공했을 때 어느 한쪽 모달리티만 사용하는 것보다 우수한 성능을 달성했다.
3. 유연한 tokenization을 통한 통합 학습: Xenium과 Visium이라는 서로 다른 형식의 ST 데이터를 하나의 backbone으로 처리할 수 있는 transcript tokenization 전략을 개발하여 HEST-1k 전체 데이터셋 학습을 가능케 하고 다양한 조직, gene panel, 공간 스케일에 대한 노출을 확장했다.

How

Figure 1. Early-fusion multimodal model architecture and cross-modal loss. A) Input patches contain the H&E image and th

• Unimodal tokenization: Xenium 데이터는 non-overlapping T×T pixel 영역 내 유전자별 detection을 카운트하여 임의 해상도의 transcript token count vector를 구성(T=16,32,256 등으로 조절); Visium은 HEST-1k 방식을 따라 spot 중심 224×224 pixel 이미지에서 토큰을 추출하고 coarser resolution에서는 여러 spot을 하나의 token sequence로 묶음.
• Gene expression encoder: 사전학습된 gene foundation model인 Geneformer로 transcript count vector를 인코딩하여 Dexpr 차원의 transcript token embedding 생성.
• Image tokenization: morphology encoder(ViT)의 patch embedding layer를 통해 image token embedding(Dmorph 차원) 생성, transcript token 해상도와 image token 해상도는 의도적으로 분리(decouple).
• Multimodal fusion: transcript embedding을 선형 레이어로 image token 차원에 projection 후 norm을 image token에 맞춰 rescale, positional embedding은 dynamic spatial resampling(ViT 방식)을 통해 transcript spatial grid에 적응시켜 image와 transcript 모두에 적용; [CLS | image tokens | transcript tokens] 시퀀스를 나머지 ViT block에 통과시켜 CLS 토큰을 global multimodal representation으로 사용.
• Self-supervised learning: vision-only pathology foundation model에서 시작해 DINOv2 pretraining을 image-transcript pair에 대해 계속 수행, image view 개념을 image-transcript pair로 확장하고 local view에서 transcript를 제거해 CLS token 상의 DINO local view loss를 cross-modality loss로 활용.

Originality

• Visium(spot 기반)과 Xenium(probe 기반)이라는 이질적인 ST 데이터 포맷을 단일 backbone으로 함께 학습 가능하게 하는 유연한 transcript tokenization 전략을 제시하여, 기존 MINT처럼 하나의 learnable ST token에 국한되지 않고 임의 공간 해상도의 transcript token 구성을 가능케 함.
• Late-stage feature concatenation/averaging이나 coarse patch level contrastive alignment에 그쳤던 기존 방법과 달리, image patch token과 transcript token을 shared transformer stack에서 처음부터 함께 처리하는 진정한 early-fusion 구조를 채택.
• 기존 vision-only pathology foundation model에서 시작해 DINOv2 self-supervised pretraining을 계속 이어가는 continual pretraining 전략으로, image-only 성능 저하 없이 멀티모달 지식을 주입하는 실용적 학습 패러다임을 제안.

Limitation & Further Study

• 발췌된 부분에서는 정량적 벤치마크 결과(구체적 수치, 비교 baseline 성능, 데이터셋 규모 등)가 충분히 제시되지 않아 성능 향상의 폭과 통계적 유의성을 판단하기 어려움.
• Xenium 데이터는 제한된 gene panel만을 다루고 Visium은 whole-transcriptome이지만 저해상도라는 근본적 trade-off가 여전히 존재하며, 이 두 데이터의 이질성을 tokenization으로 해결했다고 해도 실제 생물학적 신호의 손실 여부는 추가 검증이 필요.
• Geneformer 등 사전학습된 gene expression encoder에 의존하는데, 이 encoder 자체의 편향이나 한계가 HistoTx 성능에 미치는 영향에 대한 분석이 부족해 보임.
• 향후 연구로는 더 다양한 조직 유형과 질병 상태에 대한 일반화 검증, 그리고 실제 임상 워크플로우에서의 실용성 평가가 필요할 것으로 보임.

Evaluation

총평: 서로 다른 ST 플랫폼(Visium, Xenium)을 통합하는 유연한 tokenization과 진정한 early-fusion 구조를 통해 image-only 성능을 희생하지 않으면서도 멀티모달 시너지를 이끌어낸 실용적이고 기술적으로 탄탄한 연구로 평가되나, 구체적 실험 결과와 정량적 검증에 대한 추가 확인이 필요하다.