MoLF: Mixture-of-Latent-Flow for Pan-Cancer Spatial Gene Expression Prediction from Histology

Motivation

• Known: 기존 histogenomic 예측 연구는 대부분 단일 조직(tissue-specific) 모델에 국한되어 있었고, 초기 방법들은 deterministic regression을 사용했으나 gene expression의 stochastic하고 multimodal한 특성을 포착하지 못했다. 이후 STEM 같은 diffusion 기반 모델과 STFlow 같은 flow-matching 기반 모델, STPath 같은 masked-prediction foundation model이 제안되었다.
• Gap: Pan-cancer 학습은 조직 간 공유되는 생물학적 원리를 활용할 수 있지만, 극심한 형태학적 이질성(morphological heterogeneity)이 monolithic architecture에서 상충하는 학습 신호(conflicting learning signal)를 유발하여 성능 간섭(interference)을 일으킨다. 또한 diffusion 기반 모델은 반복적 denoising으로 계산 비용이 크고 leave-one-out 평가에 제한되며, STFlow 같은 flow-matching은 단일 아키텍처로 인해 조직 이질성 해결에 취약하고, STPath는 explicit generative objective가 아닌 masked reconstruction에 의존하며 대규모 pre-training 자원을 요구한다.
• Why: Histology로부터 저비용으로 spatial transcriptomics를 추론하는 것은 고비용·저처리량인 ST 실험을 대체할 수 있는 확장 가능한 대안이며, 여러 암종에 걸쳐 공유되는 생물학적 기전을 포착하는 통합 모델은 데이터가 부족한 상황에서도 강건한 예측을 가능하게 하여 임상 및 연구 적용 범위를 크게 넓힐 수 있다.
• Approach: VAE로 gene expression을 구조화된 latent manifold로 압축한 뒤, 이 latent 위에서 histology 이미지 및 cancer type을 조건으로 하는 conditional Flow Matching을 MoE velocity parameterization으로 학습하여 noise를 gene latent로 변환한다.

Achievement

Figure 5. Expert specialization analysis. Left: Gene latent

1. Pan-cancer SOTA 달성: MoLF는 특화 모델(specialized model)과 foundation model 베이스라인을 모두 능가하며 pan-cancer 벤치마크에서 새로운 state-of-the-art를 달성함.
2. Zero-shot cross-species 일반화: MoLF가 종(species) 간 zero-shot 일반화 성능을 보여, 보존된 histo-molecular 메커니즘을 학습했음을 시사함.
3. Expert specialization 검증: 합성 Gaussian 실험과 latent trajectory 분석을 통해 MoE가 실제로 조직별로 분화된 전문가 라우팅을 수행함을 정성적으로 입증함(Figure 2-5).

How

Figure 1. Overview of MoLF Architecture. Stage I: A Transformer-based VAE compresses high-dimensional gene expression in

• Stage I (Gene Manifold Learning): Transformer 기반 encoder qϕ(z|x)와 MLP decoder pψ(x|z)로 구성된 VAE를 ELBO(LVAE)로 학습하여 log1-normalized gene expression을 압축된 latent manifold Z로 매핑하고 파라미터를 고정(freeze)함.
• Stage II (Conditional Flow Matching with MoE): 히스토 이미지 특징 cimg와 cancer type ctype(cross-attention으로 주입)을 조건으로, Optimal Transport 경로 ψt(z0,z1)=(1-t)z0+tz1를 따라 vθ가 목표 벡터장 ut=z1-z0를 회귀하도록 LCFM으로 학습함.
• MoE velocity parameterization: vθ를 N개의 expert 네트워크의 gated weighted sum으로 정의하고 Top-k gating으로 일부 expert만 활성화시켜 조직별 상충하는 dynamics를 분리 학습함.
• 정규화: 현재 시점 latent에서 t=1로 투영한 ˆz1을 frozen decoder로 복원하여 원본 gene expression과의 MSE(Lgene)로 생물학적 일관성을 부여하고, Fedus et al.의 auxiliary load-balancing loss(Laux)로 expert collapse를 방지함.

Originality

• Flow Matching과 Mixture-of-Experts를 결합하여 pan-cancer 이질성을 명시적으로 해소하는 velocity field parameterization을 처음 제안함.
• 단순 회귀나 diffusion, masked prediction과 달리 conditional generative modeling과 architectural specialization을 동시에 도입한 접근.
• Gene expression manifold에서의 biological consistency regularization(Lgene)을 flow trajectory 예측에 통합한 설계.

Limitation & Further Study

• 발췌된 본문에서는 실험 설정(데이터셋 규모, 베이스라인 세부 비교, 정량적 수치)이 충분히 제시되지 않아 실제 성능 우위의 통계적 유의성 및 재현성 평가가 어려움.
• Top-k gating과 expert 수(N) 등 MoE 하이퍼파라미터 선택에 대한 민감도 분석이나 ablation이 본문에서 명확히 드러나지 않음.
• Zero-shot cross-species 일반화에 대한 메커니즘적 설명이 제한적이며, 이 현상이 실제 보존된 생물학적 기전을 포착한 것인지 단순 통계적 유사성인지 추가 검증이 필요함.
• 후속 연구로 다양한 조직·종에 대한 대규모 검증, expert routing의 해석가능성 강화, 계산 비용 대비 diffusion/foundation model과의 효율성 비교가 요구됨.

Evaluation

총평: Flow Matching과 MoE를 결합해 pan-cancer histogenomic 예측의 이질성 문제를 architectural하게 해결하려는 시도가 참신하고 방법론적으로 탄탄하며, zero-shot cross-species 일반화 결과는 흥미로운 시사점을 준다. 다만 발췌본만으로는 정량적 실험 결과와 ablation의 충분성을 판단하기 어려워 최종 평가는 전체 논문 검토가 필요하다.