Latent Encoding of Epistasis in Protein Language Models

Motivation

• Known: Deep mutational scanning(DMS) 및 Megascale 같은 대규모 실험 데이터셋을 통해 single mutant와 multi mutant 측정치가 축적되고 있으며, protein language model(예: DPLM)은 zero-shot 방식으로 변이 효과를 예측하는 강력한 사전(prior)으로 활용되어 왔다.
• Gap: 기존 protein language model 평가는 additive 효과와 residue-level coupling이 뒤섞인 raw variant score를 그대로 사용하며, additive baseline이 이미 매우 강력하다는 비판(Visani et al., 2026)에도 불구하고 global nonlinear response와 specific epistasis를 명확히 분리하지 않아 모델이 실제로 specific epistasis를 포착하는지 검증할 수 없었다.
• Why: 실험실에서 유용한 단백질 기능 개선은 additive 예측으로는 설명 불가능한 non-intuitive 다중 돌연변이 조합을 필요로 하므로, specific epistasis를 측정 가능한 목표로 정의하고 이를 예측할 수 있는 모델을 확보하는 것은 combinatorial variant 설계의 실용적 진전을 위해 중요하다.
• Approach: 측정된 단백질 landscape를 additive single-mutant 합, 최적 monotone global response, 그리고 이를 제외한 residual(specific epistasis)로 분해하고, frozen DPLM hidden state와 zero-shot coupling score를 입력으로 하는 경량 pairwise 모델(Model 1)을 학습해 residual을 예측한 뒤, additive score로 매칭된 candidate pool 내에서 이 residual 예측만으로 gain-of-function 변이를 선별(Model 2)한다.

Achievement

Figure 3. (A) The coupling head beats the zero shot score on all eleven measured function assays. (B) Ablations on GB1 l

1. 3계층 분해 프레임워크 정립: 측정된 multi-mutant 데이터를 additive, monotone global, specific epistasis residual로 분리하는 수학적 틀(Equations 1-8)을 제시하고, 이 residual이 additive 모델이나 additive score의 monotone 변환으로는 원리적으로 접근 불가능함을 증명했다.
2. 대규모 실증 평가: 149개 protein domain에 걸친 89,706개 stability double mutant와 11개 functional assay에 걸친 85,135개 multi-mutant 데이터에서 zero-shot DPLM 점수가 stability coupling은 제한적으로, functional coupling은 거의 포착하지 못함을 확인했다.
3. 학습된 coupling head의 성능 향상: 학습된 representation 기반 모델이 11개 assay 전체에서 functional epistasis를 회복하며, median held-out Spearman이 0.008에서 0.292로, GB1 binding에서는 0.02에서 0.37로 크게 개선되었다.
4. 실용적 설계 활용 검증: additive-matched candidate pool(additive 선택이 무의미한 구간)에서도 학습된 residual 모델이 gain-of-function double mutant를 성공적으로 선별함을 GB1 landscape에서 입증했다.

How

Figure 3. (A) The coupling head beats the zero shot score on all eleven measured function assays. (B) Ablations on GB1 l

• Single mutant 측정치로부터 additive 효과 bg(p,a)를 정의하고, 이를 합산해 additive score Ag(S) 산출
• 관측된 additive score와 실제 measured readout 사이 최적 monotone 함수 bhg를 isotonic least squares로 적합해 global calibrated prediction Gi 산출
• Specific epistasis target εi = yi - Gi 정의, 이 residual의 분산 설명력(Qspec)으로 학습 여지를 정량화
• Zero-shot DPLM coupling score Zϕ(i,j)를 pseudo log-likelihood의 discrete second difference로 정의해 baseline으로 사용
• Model 1: frozen DPLM hidden state hi, hj를 projection한 벡터, elementwise product, amino acid identity embedding, zero-shot coupling score를 concat한 zij를 입력으로 하는 multilayer head fθ를 Huber loss로 학습, held-out double split과 held-out position split 두 가지로 평가
• Model 2: 예측 함수 byij = bhg(Aij) + bεij를 사용해 additive score가 유사한 narrow bin 내에서 ranking 성능을 검증, additive 신호가 없는 구간에서의 순수 residual 기여도를 확인

Originality

• Raw variant score를 additive/global/specific 3계층으로 명시적으로 분해하고 specific epistasis만을 supervised learning target으로 삼은 최초의 시도 중 하나
• Global epistasis(비선형 assay 스케일)와 specific epistasis(잔차 residue coupling)를 개념적으로 구분한 MAVE-NN 계열 연구를 확장해, 이 구분이 protein language model 평가에 실제로 필요함을 보임
• Zero-shot pseudo log-likelihood의 discrete second difference를 specific coupling 측정치로 활용하는 간단하지만 원리적인 진단 도구 제안
• Additive-matched candidate pool 내 ranking이라는 엄격한 평가 설계를 통해, 모델이 단순히 additive 신호를 재현하는 것이 아님을 직접 통제

Limitation & Further Study

• 평가가 GB1, GFP, GRB2, PABP 등 비교적 소수의 잘 연구된 단백질/assay에 국한되어 있어, 훨씬 다양한 단백질 패밀리와 기능 유형에 대한 일반화 가능성은 추가 검증이 필요함
• Double mutant 중심의 pairwise 모델로 설계되어 있어 triple 이상 higher-order epistasis로의 확장성이 본문에서 명확히 다뤄지지 않음
• Monotone global response를 isotonic regression으로 단백질별로 개별 적합하는데, 이 단계가 데이터 양이 제한적인 assay에서 과적합되거나 residual 추정에 편향을 줄 가능성에 대한 논의가 부족함
• 실제 wet-lab 검증 없이 held-out 통계적 평가에만 의존하고 있어, 실험적으로 design된 변이가 실제 기능 개선으로 이어지는지에 대한 실증적 확인이 필요함
• 두 개의 backbone(DPLM 계열)만을 사용했는데, 다른 유형의 protein language model이나 구조 기반 모델과의 비교가 제한적임

Evaluation

총평: Specific epistasis를 additive/global 성분과 엄밀히 분리해 측정 가능한 학습 목표로 재정의한 개념적 기여가 명확하고, 다수의 실제 measured landscape에서 이를 실증적으로 뒷받침한 견고한 연구이나, wet-lab 검증과 higher-order epistasis로의 확장은 향후 과제로 남아있다.