Transcriptomics-Conditioned Virtual Tissue Synthesis via Diffusion Transformers

Motivation

Known: 기존 diffusion 기반 병리 이미지 생성 모델(PixCell, CytoSyn)은 형태학적 임베딩이나 텍스트만을 조건으로 사용했고, H&E→gene expression 회귀 모델(HE2RNA, HisToGene, BLEEP, DeepSpot, STORM)은 이미지에서 유전자 발현을 예측하는 반대 방향 작업을 수행해왔다.
Gap: 유전자 발현 프로파일로부터 조직 이미지를 직접 합성하면서 동시에 참조 형태학 정보를 함께 조건화하는 생성 모델은 부재했으며, ControlNet과 같은 pixel-aligned 조건화 방식은 Visium spot이 여러 세포를 하나의 발현 벡터로 집계하기 때문에 직접 적용할 수 없다. 또한 기존 GE-conditioned 이미지 생성 연구들은 GE만을 단독 조건으로 사용하며 참조 형태와 결합하는 메커니즘이 없었다.
Why: 형태학과 전사체 정보를 동시에 조건화한 가상 조직 합성이 가능해지면 유전자 발현을 perturbation하여 조직 형태 변화를 관찰하는 virtual tissue 실험이나, spatial transcriptomics 커버리지가 없는 H&E-only 코호트로의 zero-shot 확장을 통해 computational pathology에서 가설 검증 및 데이터 증강에 활용할 수 있다.
Approach: PixCell diffusion transformer 백본에 frozen CancerFoundation encoder로부터 얻은 gene expression 임베딩을 adaptive layer normalization과 per-block cross-attention 두 가지 방식으로 결합하고, 독립적 modality dropout을 적용한 dual classifier-free guidance로 학습한다.

Achievement

Figure 4. Matched-spot cross-model grid on the 10x TuPro test split. Each row is a single spot rendered by the three GE-

이미지 품질 개선: 10x_TuPro Visium melanoma 코호트에서 GE 조건화가 no-GE PixCell-B 베이스라인 대비 FID를 330.7에서 252.9로 개선했다.
전사체 충실도 향상: GE 조건화 모델이 AUC=0.267을 달성하여 no-GE 베이스라인(0.229)을 능가하고 real-tile 상한선의 82%에 도달했다.
OOD zero-shot 전이: DeepSpot의 PTPL(predicted-transcriptomics pseudo-labels)로 학습한 모델이 TCGA_SKCM(H&E-only, spatial transcriptomics 없는 코호트)에 zero-shot으로 전이되어 FID=690.0을 달성, no-GE 베이스라인(747.1) 대비 57점 개선 및 Δ_OOD=+309.5의 ablation 효과를 보였다.
다양한 fusion 아키텍처 비교: AdaLN과 4가지 cross-attention 토큰화 전략(Direct, PMA, Perceiver, GSA)을 체계적으로 비교하여 최적 조건화 방식을 식별했다.

How

SD3 VAE로 256×256 H&E patch를 latent로 인코딩하고 PixArt-Σ diffusion transformer가 UNI2-h cross-attention 하에 denoising 수행
Frozen CancerFoundation encoder로부터 얻은 GE 임베딩을 (1) AdaLN 방식(타임스텝 임베딩과 결합, learnable gate)과 (2) cross-attention 방식(Direct/PMA/Perceiver/GSA로 K개 토큰 생성)으로 각 transformer block에 융합
학습 시 각 조건화 모달리티(UNI, GE)를 독립적으로 확률 p로 dropout하여 4가지 조건화 레짐(full, UNI-only, GE-only, unconditional)을 생성하는 dual classifier-free guidance 적용
추론 시 별도의 guidance scale(s_uni, s_ge)을 사용해 두 모달리티의 영향력을 독립적으로 조절
DeepSpot의 예측 전사체(PTPL)로 raw Visium counts를 대체하여 학습, TCGA_SKCM에 zero-shot 적용
H0-mini feature 기반 FID, Oracle(UNI2-h+PCA+Ridge) 및 Midnight+MLP 회귀기를 통한 전사체 충실도(AUC), tissue-level GE-perturbation composite로 평가

Limitation & Further Study

Tissue-level GE-perturbation composite는 관찰적 ST 데이터에서 대응하는 counterfactual이 없어 거리 proxy에 불과하며 생물학적 유효성을 입증하지는 못함
단일 melanoma 코호트(10x_TuPro)에 기반한 훈련으로 다른 암종이나 조직 유형에 대한 일반화 가능성은 검증되지 않음
Visium spot 해상도(1-10 세포 집계)로 인해 세포 수준의 세밀한 형태-발현 대응관계는 포착하기 어려움
FID 개선이 여전히 상당히 높은 수준(252.9~690.0)이어서 실제 임상적 활용을 위한 이미지 충실도는 추가 개선이 필요
후속 연구로 다양한 암종/조직에 대한 검증, 세포 수준 해상도 데이터(예: Xenium)로의 확장, 그리고 counterfactual 검증이 가능한 perturbation 실험 설계가 필요

같이 보면 좋은 논문

Effective gene expression prediction from sequence by integrating long-range interactions

기반 연구SPECTER2 유사도 0.91로 Multimodal Biomedical Data Fusion와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Effective gene expression prediction from sequence by integrating long-range interactions'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Cell Painting Generates Single-Cell Transcriptomics via Conditional Diffusion

기반 연구PixCell 기반 diffusion transformer 구조의 기초가 되는 핵심 모델이다.

HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning

기반 연구PixCell 기반 diffusion transformer 구조의 토대가 되는 선행 연구로 보인다.

CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

기반 연구SPECTER2 유사도 0.93로 Multimodal Biomedical Data Fusion와 AI-Driven Drug and Materials Discovery가 맞닿아, 'CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

기반 연구SPECTER2 유사도 0.91 기준으로 'Transcriptomics-Conditioned Virtual Tissue Synthesis via Diffusion Transformers'의 AI4S 방법론을 'Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.

Pixel2Gene enables histology-guided reconstruction and prediction of spatial gene expression

기반 연구형태학적 특징 인코더(UNI2-h)와 유전자 발현 임베딩을 결합하는 기반 기술을 공유한다.

AetherCell: A generative engine for virtual cell perturbation and in vivo drug discovery

기반 연구SPECTER2 유사도 0.91로 Multimodal Biomedical Data Fusion와 AI-Driven Drug and Materials Discovery가 맞닿아, 'AetherCell: A generative engine for virtual cell perturbation and in vivo drug discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models

기반 연구SPECTER2 유사도 0.91 기준으로 'Transcriptomics-Conditioned Virtual Tissue Synthesis via Diffusion Transformers'의 AI4S 방법론을 'Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.

Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

다른 접근유전자 발현 조건 정보를 활용한 조직 이미지 생성이라는 유사한 문제를 다루는 대안적 방법론이다.

Transitive Representation Learning Enhances Histopathology Annotation

다른 접근gene expression과 histopathology를 결합하는 유사한 목표를 다른 방식(contrastive learning)으로 달성한다.

UniMedVL: Unifying Medical Multimodal Understanding and Generation through Observation-Knowledge-Analysis

다른 접근이해-생성 통합을 위한 대안적인 패러다임을 제시한다.

후속 연구transcriptomics 조건부 이미지 생성 기법을 확장한다.

Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models

후속 연구Diffusion Transformer 기반 latent diffusion 모델의 이론적 기초를 제공한다.

MESH-HR: Multimodal Fusion of Histopathology and Structured Somatic Genomics for Continuous Breast Cancer Receptor Subtyping

응용 사례유전자 발현 정보를 조직 이미지 생성에 응용하는 유사한 연구로 판단된다.

MoLF: Mixture-of-Latent-Flow for Pan-Cancer Spatial Gene Expression Prediction from Histology