TriFit: Trimodal Fusion with Protein Dynamics for Mutation Fitness Prediction

Motivation

• Known: 기존 variant effect prediction 연구는 protein language model 기반 sequence 정보(ESM-1v, ESM-2)나 AlphaFold2 기반 structure 정보(inverse folding, SaProt 등)를 활용하거나 이 둘을 결합한 hybrid 방법(ProteinNPT, Kermut, TranceptEVE)을 통해 강력한 성능을 보여왔다.
• Gap: residue flexibility, correlated motions, allosteric coupling과 같은 protein dynamics 정보는 구조생물학적으로 mutational tolerance의 핵심 결정 요인으로 알려져 있음에도, 지도학습 기반 variant effect predictor에 명시적으로 통합된 적이 없으며, 기존 fusion 전략들도 모달리티별 정보량 차이를 무시한 채 균일하게 처리한다는 한계가 있다.
• Why: 유전 질환 진단 및 치료용 단백질 엔지니어링에서 SAV의 기능적 영향을 정확히 예측하는 것은 핵심 과제이며, dynamics라는 새로운 생물물리학적 모달리티를 추가하고 이를 입력 조건부로 적응적으로 융합함으로써 예측 정확도와 모델의 생물학적 해석력을 동시에 높일 수 있다.
• Approach: GNM 기반 B-factor, mode shape, cross-correlation으로 dynamics embedding을 추출하고, 이를 ESM-2 기반 sequence embedding, AlphaFold2 기반 structure embedding과 함께 input-conditioned MoE 라우터로 융합하며, 세 모달리티 쌍 전체에 대해 InfoNCE 기반 trimodal contrastive learning을 동시에 적용한다.

Achievement

Figure 3. MoE expert utilization across 217 test proteins (hierarchical clustering by router weight pattern). Color inte

1. 성능 우위: ProteinGym 217개 DMS assay(696k SAVs) 벤치마크에서 TriFit이 AUROC 0.897±0.0002를 달성하여 Kermut(0.864), ProteinNPT(0.844) 등 모든 지도학습 baseline과 최고 zero-shot 모델 ESM3(0.769)를 능가함.
2. Dynamics 모달리티의 기여 입증: ablation 연구에서 dynamics가 pairwise 모달리티 조합 대비 가장 큰 marginal contribution을 제공함을 확인함.
3. 우수한 calibration: post-hoc correction 없이도 ECE=0.044의 잘 보정된 확률 출력을 얻음.
4. 적응적 융합 메커니즘 검증: MoE 라우터가 217개 단백질에 대해 서로 다른 expert utilization 패턴을 보이는 것을 hierarchical clustering을 통해 시각화함(Figure 3).

How

Figure 2. Representation analysis. Left: UMAP of projected

• Sequence embedding: ESM-1v 방식의 masked marginal scoring을 사용해 ESM-2 (650M)로 wild-type 위치를 마스킹한 context embedding을 얻고, 여기에 mutant-wildtype 토큰 임베딩 차이를 더해 eseq를 구성함.
• Structure embedding: AlphaFold2 예측 구조에서 Cα 원자 기반 k-NN 그래프(k=20)를 구성하고 거리·방향 벡터 특징을 random projection으로 R512에 매핑함.
• Dynamics embedding: ProDy를 이용해 GNM을 적용, normalized B-factor, top-K(20) mode shape, mode-projected cross-correlation, Kirchhoff matrix의 diagonal stiffness를 계산 후 concatenate하여 R256으로 projection함.
• MoE fusion: 세 모달리티를 공통 512차원으로 projection한 뒤, Seq+Struct, Seq+Dyn, Struct+Dyn, Trimodal의 4개 전문가(Expert)를 두고 학습된 router의 softmax 가중치로 weighted sum하여 fused representation을 계산함.
• Trimodal contrastive learning: 세 모달리티 쌍 전체({seq,str}, {seq,dyn}, {str,dyn})에 대해 symmetric InfoNCE loss(temperature τ=0.07)를 적용함.
• 학습: cross-entropy 분류 손실과 contrastive loss를 λ=0.3으로 결합한 L=LCE+λLctr을 20 epoch 동안 AdamW(lr=3e-4, weight decay 1e-4)와 cosine annealing으로 최적화하며, ProteinGym 공식 5-fold 교차검증(fold random 5)을 사용함.

Originality

• protein dynamics(GNM 기반 B-factor, mode shape, cross-correlation)를 sequence, structure에 이어 지도학습 기반 variant effect predictor에 최초로 통합한 세 번째 모달리티로 제시함.
• 고정된 모달리티 결합 방식 대신, 입력에 조건화된 4-expert MoE 라우터를 도입해 단백질별로 적응적인 모달리티 조합 가중치를 학습하도록 설계함.
• 두 모달리티 쌍 단위가 아닌 세 모달리티 쌍 전체(seq-str, seq-dyn, str-dyn)에 동시에 적용하는 trimodal cross-modal contrastive learning을 제안함.

Limitation & Further Study

• 본문 발췌에는 dynamics 단독 및 pairwise ablation의 구체적 수치, 통계적 유의성 검정, 217개 중 1개 단백질(AlphaFold2 구조 미제공)의 처리 방식에 대한 상세 설명이 부족함.
• GNM은 저해상도 elastic network model로서 실제 분자동역학(MD) 시뮬레이션 대비 dynamics 표현력이 제한적일 수 있으며, AlphaFold2 예측 구조에 기반한 dynamics 계산의 오차 전파 가능성에 대한 논의가 필요함.
• binary fitness label을 top/bottom 30% 임계값으로 이산화함으로써 연속적인 DMS 점수의 정량적 정보 손실이 발생할 수 있음.
• 후속 연구로 실제 MD 궤적 기반 dynamics 특징과의 비교, 다른 구조 예측 모델(AlphaFold3 등)과의 결합, cross-family generalization 평가가 필요함.

Evaluation

총평: protein dynamics를 새로운 모달리티로 도입하고 적응적 MoE 융합과 trimodal contrastive learning을 결합한 참신하고 실용적인 접근으로, ProteinGym에서 뚜렷한 성능 개선과 우수한 calibration을 보여준 견실한 연구이다.