ProSAM: Modular and Energy-Guided Fine-Tuning of Protein Language Models for Structure Prediction

Motivation

• Known: ESM-2, ESM-3 같은 대규모 PLM은 MSA 없이도 구조 예측이 가능하며, ESMFold, OmegaFold, SaProt 등은 frozen PLM에 구조 모듈을 결합해 좋은 성능을 낸다. LoRA, Adapter, Prefix Tuning 같은 PEFT 기법은 단백질 기능 예측 태스크에 적용되어 왔다.
• Gap: 기존 fine-tuning 방식은 PLM의 hidden state를 진화적 의미, 국소 이차구조 경향, 백본 기하 정보 구분 없이 균일하게 처리하며, AlphaFold2의 pLDDT처럼 불확실성 추정이 구조 예측 이후 사후적으로만 이루어져 학습 시 정규화 신호로 활용되지 않는다는 한계가 있다.
• Why: 구조 예측용 PLM fine-tuning에서 특징을 구조적 특성에 따라 차등 처리하고 물리 기반 불확실성을 학습 과정에 직접 통합하면, 소수 파라미터만 추가하고도 저품질 MSA 상황을 포함한 다양한 벤치마크에서 성능과 신뢰도 추정을 동시에 개선할 수 있음을 보여주는 의미가 있다.
• Approach: frozen PLM 표현과 trainable 구조적 사전 정보를 분리하는 Dual-path Encoder, 생물물리학적 속성 기반 게이팅을 수행하는 PASA와 fold-specific prompt로 정보를 주입하는 FSP, 그리고 에너지 편향 분산을 예측해 reparameterized Gaussian sampling으로 학습 시 불확실성을 반영하는 ECU를 결합하고, FAPE·기하·에너지·일관성·bimodal gating 항으로 구성된 다중 목적 손실로 학습한다.

Achievement

Figure 4. ProSAM vs. PEFT baselines on CASP14 (TM-score).

1. 성능 향상: CASP14에서 TM-score 0.892±0.005, RMSD-Cα 1.23±0.08Å로 ESMFold 대비 +4.1점 개선(p<0.01, paired Wilcoxon, Cohen's d=1.42)을 달성했다.
2. 일반화 검증: CASP15(+3.4), CAMEO-hard, PDB-2022 등 다양한 벤치마크에서 성능 향상이 유지되며, 특히 low-MSA-depth 타겟에서 개선폭이 가장 큼(+4.9)을 보였다.
3. 파라미터 효율성: LoRA, Adapter 등 PEFT 베이스라인 대비 우수한 성능을 보이면서도 전체 frozen PLM의 1.9%에 불과한 12.3M 파라미터만 추가한다.
4. 불확실성 추정 품질: ECU가 생성하는 confidence proxy가 ESMFold의 pLDDT보다 우수한 상관관계(Spearman ρ=0.91 vs. 0.86)를 보였다.
5. 이론적 분석: consistency loss의 Jacobian 정규화 해석, bimodal gating의 sparse feature selection 해석, multi-objective gradient alignment에 대한 공식적 명제를 제시했다.

How

Figure 5. ProSAM TM-score gains across three PLM backbones

• Dual-path Protein Encoder: frozen PLM(Es)로 시퀀스 특징 Hs를, trainable transformer(Ep)로 NetSurfP-3.0과 trRosetta 기반 구조적 사전 특징 Fp를 인코딩해 Hp를 생성
• PASA: 2-layer MLP로 np=8개 생물물리학적 descriptor를 예측하여 residue별 게이팅 스칼라 β와 보정항 Γ를 생성, 이를 통해 Hs를 변조
• FSP: K=16개 학습 가능한 fold-specific prompt Q에 대해 결합 특징 Hc가 attention을 수행해 fold-aware 표현 Z를 생성
• ECU: Z로부터 residue별 에너지 점수 ei와 분산 σ_i²를 예측하고, reparameterized Gaussian noise δi를 학습 시 주입하며, 테스트 시에는 −ei를 confidence proxy로 사용
• 다중목적 손실: FAPE 기반 Lcoord, 에너지 지도 Lenergy, 결합각/길이 제약 Lgeom, Z와 Z+δ 간 일관성 Lconsist, gate를 이진화하는 Lbimodal을 가중합
• 실험 설계: ESM-2 650M/3B, ProtT5-XL 3개 backbone, CASP14/15·CAMEO-hard·PDB-2022 4개 벤치마크, AlphaFold2·ESMFold·OmegaFold·SaProt 및 LoRA·Adapter·Prefix Tuning 등 9개 baseline과 비교, ablation 및 실패 사례 분석 수행

Originality

• PLM fine-tuning에서 hidden state를 단일 경로가 아닌 진화적 의미와 구조적 사전 정보로 명시적으로 분리하는 Dual-path Encoder 설계
• 생물물리학적 descriptor 기반 게이팅과 fold-specific prompting을 결합하여 구조 인지적 변조를 수행하는 PASA/FSP 모듈
• 사후적 confidence 추정(pLDDT 등)과 달리 에너지 편향 불확실성을 학습 forward pass에 직접 통합하는 ECU 모듈 및 이를 뒷받침하는 Jacobian 정규화 이론적 해석
• bimodal gating을 sparse feature selection으로 해석하는 명제 제시로 disordered loop과 core 구조 요소를 데이터 기반으로 구분

Limitation & Further Study

• 발췌된 내용상 CASP14 표 일부가 잘려 있어 전체 backbone별, 벤치마크별 정량 비교의 완전성을 확인하기 어려움
• ECU의 M=1 샘플링이 충분하다는 주장은 실험적 관찰에 근거하나, 다양한 데이터셋에서 노이즈 샘플 수에 대한 민감도 분석이 제한적으로 보임
• 구조적 사전 정보(NetSurfP-3.0, trRosetta)에 의존하므로 이들 예측기의 오차가 ProSAM 성능에 미치는 영향에 대한 심층 분석이 부족해 보임
• 복합체(complex) 구조나 multimer 예측으로의 확장 가능성 및 AF3, ESM3 같은 최신 대형 모델과의 직접 비교가 제한적임
• 후속 연구로 다양한 backbone과 태스크(기능 예측 등)로의 일반화, 그리고 더 큰 규모의 구조적 사전 정보 통합이 필요해 보임

Evaluation

총평: 모듈형 아키텍처와 에너지 기반 불확실성 정규화를 결합해 파라미터 효율적이면서도 성능과 신뢰도 추정을 동시에 개선한 견고한 연구로, 이론적 뒷받침과 다각적 실험이 강점이나 일부 구조 사전 정보 의존성과 최신 대형 모델과의 비교 부족은 아쉬운 점이다.