Mechanistic Synergy in Multi-Modal VEP: DNA Context Complements PLMs under Biophysical Constraints

Motivation

• Known: PLM은 Variant Effect Prediction(VEP)의 표준 backbone으로 전반적 성능 향상을 이끌었으나, 특정 잔기에서 왜 실패하는지에 대한 mechanistic한 이해는 부족한 상태였다.
• Gap: PLM은 고립된 최종 시퀀스로부터 학습하기 때문에 번역 중 발생하는 kinetic 및 multi-protein context, 그리고 세포 내 물리적·조절적 맥락을 놓칠 수 있다는 가설 하에, 이를 보완할 unimodal 표현을 넘어서는 접근이 충분히 탐구되지 않았다.
• Why: VEP은 임상 진단과 신약 개발에 직접 활용되므로, 모델이 어떤 생물학적 맥락에서 실패하는지 mechanistic하게 규명하고 이를 교정하는 것은 예측 신뢰성 확보에 필수적이다.
• Approach: frozen PLM(ESM3)과 frozen DLM(NTv3-650M)의 표현을 결합하되, DNA 쪽에서 zero-shot geometric scalar 신호를 추출해 경량 fusion 헤드로 결합하는 parameter-efficient multi-modal 아키텍처를 제안한다.

Achievement

Figure 2. Overall performance gain of multi-modal fusion.

1. Parameter-efficient multi-modal fusion: 두 foundation model(ESM3, NTv3-650M)을 완전히 frozen 상태로 유지한 채, DLM으로부터 추출한 zero-shot geometric scalar와 protein embedding을 결합하는 경량 fusion 구조로 cross-modal synergy를 달성했다.
2. 29개 유전자에 걸친 multi-modal synergy 검증: position-aware 5-fold cross-validation을 통해 multi-modal 모델(mean Spearman ρ=0.508)이 ESM-ONLY 기반선(ρ=0.497, paired Wilcoxon p=0.039)을 유의하게 능가함을 보였고, ablation을 통해 zero-shot geometric prior가 성능 향상의 핵심 동인임을 확인했다.
3. Variant 수준 해석 및 문헌 검증: 잔기 수준 분석에서 multi-modal 접근이 복잡한 상호작용 표면에서 unimodal 모델의 blind spot을 교정함을 보였고, 특히 양전하 잔기(K/R/H)에서 통계적으로 유의한 enrichment(p=7.0×10⁻⁴)를 확인, KCNJ2 칼륨 채널 사례 연구로 실험 문헌과의 정합성을 검증했다.

How

Figure 1. Schematic of the multi-modal VEP architecture coupling protein and DNA context. (a) Input: Wild-type (WT) and

• ENA/UniProt 교차 참조를 통한 context-aware back-translation으로 단백질 변이체와 게놈 기원을 정렬하고, Hamming distance 최소화 및 codon usage frequency로 mutant codon을 선정
• ESM3(dE=1536)와 NTv3-650M(dN=768)에서 WT/mutant 서열별 residue/nucleotide embedding을 추출, 두 foundation model은 학습 내내 frozen 유지
• 세 가지 encoding path(단백질 경로: global/WT-local/mutational-delta view, DNA 경로: 1D-CNN 기반 windowed/site-specific representation, training-free 경로: contextual deviation serr, mutational shift sshift, local dispersion sdisp의 zero-shot geometric signal)를 결합
• 모든 특징을 concatenate 후 2-layer MLP head로 fitness score(ŷ) 예측, position-aware 5-fold cross-validation으로 검증
• 잔기별 rank residual change를 계산하여 Synergistic Positions(P+, 상위 5%)와 Antagonistic Positions(P−, 하위 5%)를 정의하고 16개 binary residue-level feature에 대해 Fisher exact test와 Bonferroni correction으로 enrichment 분석 수행

Originality

• PLM과 DLM을 결합하되 두 foundation model을 완전히 frozen 상태로 유지하며 zero-shot geometric scalar만을 학습 가능한 fusion head에 주입하는 parameter-efficient 설계가 독창적이다
• 단순 ensemble 성능 향상이 아니라, multi-modal 신호가 특정 실패 모드(양전하 잔기)를 국소적으로 교정한다는 mechanistic 관점에서 heterogeneity를 분석한 점이 기존 VEP 연구와 차별화된다
• Spearman ρ 개선을 잔기 단위 rank residual change로 분해하여 Synergistic/Antagonistic position을 정의하고, 구조적·전하 기반 feature enrichment 통계 검정으로 생물학적 해석을 시도한 분석 프레임워크가 새롭다

Limitation & Further Study

• 전체적인 aggregate 성능 향상 폭(mean +0.012)이 작아 실질적 임상 적용 가능성에 대한 추가 검증이 필요함
• 29개 ProteinGym 타겟에 국한된 분석으로, 더 넓은 범위의 유전자·단백질 패밀리에 대한 일반화 가능성이 불확실함
• Antagonistic Positions(P−)에서는 어떤 feature도 Bonferroni correction을 통과하지 못해, 성능 저하 원인에 대한 mechanistic 설명이 부족함
• Structural case study가 KCNJ2 단일 유전자에 국한되어 있어 다른 유전자에 대한 일반화된 사례 검증이 추가로 필요함
• back-translation으로 생성된 codon이 실제 생물학적 코돈 사용과 완전히 일치하지 않을 수 있어 DNA context의 신뢰성에 대한 추가 검증이 필요함

Evaluation

총평: 단순 성능 지표를 넘어 multi-modal fusion이 왜, 어디서 효과적인지를 mechanistic하게 규명한 점에서 VEP 연구에 유의미한 기여를 하며, parameter-efficient 설계와 통계적 엄밀성을 갖춘 분석이 돋보이는 workshop 논문이다.