Gene-Embedding Perturbation Operators for Zero-Shot and Transferable Prediction of Transcriptional Responses

Motivation

• Known: Perturb-seq와 CRISPR 스크린으로 대규모 유전자 perturbation의 transcriptional 효과를 측정할 수 있으며, GEARS, scGen, CPA, CellFlow 같은 기존 방법들은 perturbation-specific parameter(전용 embedding 또는 encoder)를 학습해 예측 성능을 낸다.
• Gap: 기존 방법들은 perturbation-specific parameterization에 의존하기 때문에 학습 중 관찰되지 않은 target gene에 대한 예측이 불가능하고(zero-shot 실패), cell type 간 전이(transfer)도 검증된 바 없다.
• Why: 유전자 조작 공간은 실험적으로 측정 가능한 규모를 훨씬 초과하므로, 학습되지 않은 gene과 새로운 cell type에 일반화 가능한 예측 모델은 유전자 기능 이해와 조합적 perturbation 탐색 비용을 크게 줄일 수 있어 중요하다.
• Approach: GRN 위상 구조를 보존하는 frozen pretrained embedding(Node2Vec 또는 spectral decomposition)과 zero-initialized learnable delta를 결합한 gene embedding을 정의하고, 이를 이용해 각 perturbation을 low-rank Koopman operator로 인코딩하여 operator product를 통해 조합적 perturbation을 모델링한다.

Achievement

Figure 2. Cross-cell-type transfer results. (a) Bidirectional transfer performance. (b) Transfer ablation comparing DYNA

1. Zero-shot 예측 성능: K562 데이터셋에서 train-test perturbation 유전자가 전혀 겹치지 않는 조건에서 DYNAMO는 ρΔ=0.283을 달성한 반면 GEARS는 실패(crash)하고 scGen은 음의 상관(-0.126)을 보였다.
2. Cross-cell-type transfer: K562로 학습한 모델이 재학습 없이 RPE1 세포에서 ρΔ=0.576을 달성했으며, structured operator가 unstructured MLP 대비(51% vs 30%) native 성능을 더 잘 보존했다.
3. 조합적 perturbation 예측: Norman 데이터셋의 double knockout 실험에서 operator product 방식이 ρΔ=0.563을 기록해 GEARS 대비 2.7배, scGen 대비 2.8배 높은 성능을 보였으며 few-shot learning curve가 평탄했다.
4. Embedding 전략 비교: 6가지 embedding 전략(Node2Vec, spectral, text, co-expression, foundation model 등)을 체계적으로 비교하여 GRN topology 기반 embedding이 다른 방식 대비 19% 우수함을 입증했다.

How

Figure 1. Overview of DYNAMO. (a) The zero-shot setting: perturbation operators are parameterized by gene embeddings fro

• 각 gene을 frozen pretrained embedding(Node2Vec 또는 spectral)과 zero-initialized learnable delta의 합으로 표현(eg = ef_g + δg)
• gene embedding을 입력으로 MLP fU, fV, fs를 통해 low-rank factor Ug, Vg와 스칼라 sg를 생성하고, perturbation operator를 Pg = I + sg·UgVᵀg로 정의
• 조합적 perturbation은 개별 operator의 곱 Pg1,g2 = Pg1·Pg2로 표현하여 비가환성을 통해 epistatic 상호작용을 모델링
• 전체 아키텍처는 (1) per-gene MLP ϕ로 latent state 생성, (2) GRN-masked low-rank Koopman operator K로 latent state 전파, (3) perturbation operator Pg를 latent space에 적용, (4) decoder MLP ψ로 expression change 예측하는 4단계로 구성
• 개별 세포가 아닌 perturbation signature(세포 평균 profile) 단위로 학습하여 계산 효율성 확보
• MSE와 Pearson correlation loss를 결합한 손실함수(L = MSE - λ·ρΔ)로 최적화, AdamW, warmup+cosine decay, early stopping, Gaussian noise augmentation 적용

Originality

• perturbation을 perturbation-specific parameter가 아닌 target gene의 GRN embedding으로 파라미터화하여 unseen gene에 대한 zero-shot 예측을 근본적으로 가능하게 한 구조적 혁신
• frozen pretrained embedding과 zero-initialized learnable delta를 분리하는 decomposition을 통해 구조적 일반화와 학습 유연성을 동시에 확보한 설계
• Koopman operator formalism을 도입하여 perturbation을 low-rank operator로 표현하고, operator product를 통해 조합적 perturbation의 비가환적 상호작용(epistasis)을 자연스럽게 모델링한 점
• 단일 cell type에서 학습한 structured operator가 재학습 없이 다른 cell type으로 전이 가능함을 최초로 시연

Limitation & Further Study

• 발췌된 본문에서 GRN 구축 방법(어떤 데이터로부터 network edge를 정의했는지)에 대한 세부 설명이 불충분하여 GRN 품질에 대한 의존성과 그 한계가 명확히 드러나지 않음
• K562, RPE1, Norman 등 특정 세포주와 CRISPR 스크린 데이터셋에 국한되어 검증되었으며, 더 다양한 조직·질병 맥락에서의 일반화 가능성은 추가 검증 필요
• 저차원(low-rank) operator 근사가 고차 조합 perturbation(3중 이상 knockout)이나 복잡한 유전자 상호작용에 대해 얼마나 확장 가능한지 불분명
• 보조 손실(contrastive, gene-program 등)이 성능을 저하시켰다는 점은 모델이 Pearson correlation 최적화에 과적합될 위험을 시사하며, 다른 평가지표(RMSE, DEG recall 등)에 대한 강건성 검증이 필요
• GRN embedding 방법(Node2Vec vs spectral) 선택에 따른 민감도 분석 및 GRN 오류/노이즈에 대한 robustness 분석이 추가되면 좋을 것

Evaluation

총평: GRN embedding과 Koopman operator를 결합해 zero-shot 및 cross-cell-type transfer 가능한 perturbation 예측 프레임워크를 제시한 참신하고 실용적인 연구로, 기존 방법 대비 명확한 성능 개선을 보였으나 GRN 구축 방식과 확장성에 대한 추가 검증이 필요하다.