Learning Protein Fitness Landscapes with Multimodal Stability Priors

Motivation

• Known: Protein language model은 대규모 자연 서열로 사전학습되어 zero-shot mutation effect prediction에서 강력한 성능을 보이며, ConFit과 같은 contrastive fine-tuning 기법은 low-N fitness 데이터에서 pLM의 likelihood를 재보정하여 catastrophic forgetting을 줄이는 것으로 알려져 있다.
• Gap: 기존 low-N fitness 예측 방법들은 sparse한 실험 라벨만으로 pLM을 미세조정하기 때문에 overfitting에 취약하며, 단백질 구조 기반의 안정성(stability) 정보와 같은 생물물리학적 prior를 fine-tuning 과정에 명시적으로 통합하지 못했다.
• Why: 변이가 단백질의 구조적 안정성을 크게 저해하면 결합력, 촉매 활성 등 다른 fitness 지표도 함께 저하되는 경우가 많으므로, stability prior를 fitness 예측에 통합하면 sparse assay 환경에서도 데이터 효율성을 높이고 일반화 성능을 개선할 수 있어 단백질 엔지니어링 실무에 중요하다.
• Approach: PsiFit은 SPURS가 예측한 위치별 ∆∆G stability matrix를 학습 가능한 MLP를 통해 pLM의 final-layer logit에 더하는 stability bias로 변환하고, 이를 ConFit 스타일의 Bradley-Terry contrastive loss와 KL 정규화를 결합해 LoRA 기반 parameter-efficient fine-tuning으로 학습한다.

Achievement

1. ProteinGym 벤치마크에서 최고 성능 달성: 114개의 non-stability DMS 데이터셋에서 PsiFit이 mean Spearman 0.509, median 0.527로 ESM-1v(0.433/0.461) 및 Augmented DeepSequence(0.479/0.490)를 능가함.
2. 통계적으로 유의미한 개선: paired Wilcoxon signed-rank test에서 ESM-1v 대비 p<0.001, Augmented DeepSequence 대비 p=2.32×10^-5로 유의한 성능 향상을 확인함.
3. 데이터셋 단위 우위 확인: 114개 중 84개(ESM-1v 대비), 79개(Augmented DeepSequence 대비) 데이터셋에서 우세했으며, 65개 데이터셋에서 세 방법 중 최고 성능을 기록함.
4. stability 정보의 일반화 검증: stability 측정 DMS를 제외한 데이터셋에서도 성능 향상을 보여 stability prior가 단순히 stability 자체를 예측하는 것을 넘어 다양한 fitness 속성에 유용함을 입증함.

How

• 문제 정의: wild-type 서열 xWT과 소수(N<100)의 라벨링된 변이 데이터 D={(x,y)}로부터 변이 순위를 예측하는 protein-specific predictor 학습.
• pLM fitness score: masked pLM의 logit으로부터 mutant와 wild-type 잔기 간 log-likelihood ratio를 계산하여 fitness proxy ŷθ(x) 산출 (식 5).
• multimodal stability prior: SPURS(ProteinMPNN 기반 구조 인코딩 + ESM 기반 서열 표현을 adapter로 결합)를 이용해 모든 위치·아미노산 조합에 대한 ∆∆G stability matrix G를 한 번의 forward pass로 예측.
• stability-biased logit: 소형 MLP(Bϕ)로 G를 변환해 pLM logit에 더함(X'=Xθ+Bϕ), 이를 통해 위치별 stability bias를 학습.
• contrastive fine-tuning: ConFit 방식의 Bradley-Terry pairwise ranking loss(LBT)로 N개 라벨을 O(N²) pairwise 비교로 변환하고, 사전학습 분포와의 괴리를 막기 위한 KL 정규화(LKL)를 결합, 최종 손실 L=LBT+λKL·LKL을 LoRA로 parameter-efficient하게 최적화.
• 평가: ProteinGym의 stability 제외 114개 DMS 데이터셋에서 N=96 low-N 설정으로 held-out 변이에 대한 Spearman correlation 측정, ESM-1v 및 Augmented DeepSequence와 비교.

Originality

• pLM의 contrastive fine-tuning에 multimodal(sequence-structure) stability foundation model(SPURS)의 ∆∆G 예측을 명시적 prior로 주입한 최초 시도로, 기존 ConFit 프레임워크를 생물물리학적 안정성 정보로 확장함.
• 고정된 stability penalty가 아니라 학습 가능한 MLP 기반 calibration module을 사용해 단백질·위치·assay 종류에 따라 stability-fitness 관계를 유연하게 재조정하는 방식을 채택함.
• 순수 서열 기반 evolutionary 정보(pLM)와 구조 기반 biophysical 정보(SPURS)를 logit 수준에서 통합하여 sparse fitness label과 함께 단일 학습 프레임워크로 결합함.

Limitation & Further Study

• 본문 발췌에는 ablation(예: stability prior 유무, MLP 구조, λKL 민감도) 분석이 명시적으로 제시되지 않아 stability prior 기여도의 정량적 분해가 부족함.
• 평가가 N=96 단일 low-N 설정과 ProteinGym의 non-stability DMS에 국한되어 있어, 다양한 N 값이나 stability가 fitness에 미치는 영향이 적은 단백질(예: 강한 negative selection이 없는 케이스)에서의 일반화는 추가 검증이 필요함.
• SPURS의 ∆∆G 예측이 부정확한 단백질(구조 정보가 부족하거나 예측 신뢰도가 낮은 경우)에 대한 강건성 분석이 제시되지 않음.
• 향후 연구로 다양한 stability foundation model과의 비교, 여러 N 수준에서의 데이터 효율성 곡선 분석, 그리고 stability 외 다른 생물물리학적 prior(예: 결합 친화도 구조 정보)와의 결합이 고려될 수 있음.

Evaluation

총평: PsiFit은 multimodal stability foundation model을 contrastive fine-tuning에 통합하는 간결하고 효과적인 방법으로 low-N 단백질 fitness 예측 성능을 유의미하게 개선했으며, 향후 다양한 생물물리학적 prior 통합 연구의 좋은 출발점이 될 것으로 보인다.