When Does Structure Help? The Information Bonus of AlphaFold2 Representations over Protein Language Models

Motivation

• Known: ESM-2와 같은 protein language model은 서열만으로 빠르게 임베딩을 생성할 수 있는 반면, AlphaFold2는 구조 추론을 통해 geometry-aware Evoformer 표현을 만들지만 계산 비용이 훨씬 크다는 것이 알려져 있다. 또한 sequence embedding만으로도 virtual screening이나 binding affinity 예측에서 구조 기반 방법과 대등하거나 더 나은 성능을 낸다는 선행 연구들이 존재한다.
• Gap: 기존 통념은 "구조는 구조적 과제에 도움이 된다"는 식으로 모호하며, binding affinity·flexibility·allostery처럼 서로 다른 메커니즘을 갖는 과제들에 대해 언제 AF2의 구조 정보가 ESM-2 대비 실질적 이득(information bonus)을 주는지 정량적으로 측정한 연구가 없었다. 또한 residue-level cross-validation에서 발생하는 leakage 문제가 표현 간 성능 순위를 뒤바꿀 수 있다는 점도 충분히 검증되지 않았다.
• Why: AI scientist 시스템이 실험을 설계하기 전에 어떤 biological foundation model을 사용할지 선택해야 하는 상황에서, 구조 추론 비용을 지불할 가치가 있는지를 측정 가능한 결정으로 전환하는 것은 실용적·과학적으로 중요하다. 이는 latency, 비용, 실험 처리량, 나아가 과학적 결론 자체에 영향을 미친다.
• Approach: frozen 단일 서열 AlphaFold2 Evoformer 표현(single, pair-diagonal)과 frozen ESM-2 650M 임베딩에 동일한 linear probe를 적용하고, protein-level GroupKFold cross-validation 하에서 held-out 성능 차이를 information bonus (IB)로 정의하여 세 가지 과제(PDBbind binding affinity, ATLAS flexibility, AlloSigDB allostery)에서 비교한다.

Achievement

Figure 2. Three-task overview. ESM-2 wins binding affinity and

1. Information Bonus (IB) 지표 정의: AF2와 ESM-2 표현 간의 held-out 성능 차이를 동일 probe·동일 protein-level split 하에서 측정하는 간단하고 실행 가능한 벤치마크 단위를 제안했다.
2. Binding affinity와 binary flexibility에서 ESM-2 우위 입증: PDBbind에서 IB=-0.141 (Pearson r=0.449 vs 0.307), binary flexibility에서 IB=-0.060 (AUROC 0.824 vs 0.764, p=0.0017)로 명시적 좌표 없이도 ESM-2가 더 강한 신호를 인코딩함을 보였다.
3. Allostery에서 AF2의 유일한 양의 IB 발견: AlloSigDB 과제에서 AF2 single 표현만이 above-chance 성능(AUROC 0.548 vs 0.485, IB=+0.064)을 보여 장거리 geometric signal이 서열만으로는 회복되지 않음을 규명했다.
4. Residue-level leakage artifact 정량화: naive residue split이 RMSF 성능을 27–39% 부풀리며 표현 순위까지 뒤집을 수 있음을 보여, protein-level GroupKFold가 per-residue 과제의 올바른 프로토콜임을 입증했다.

How

Figure 4. RMSF detail and split sensitivity. Residue-level split-

• PDBbind(n=5,680), ATLAS(268 단백질, 50,426 residues), AlloSigDB(47 단백질, 9,925 residues, 4.8% positives) 세 데이터셋에서 실험 수행
• AF2 single(RL×256), AF2 pair-diagonal zii(RL×128), ESM-2 650M(RL×1280) 표현을 ℓ2-normalize 후 사용
• ridge regression(α=1.0)으로 scalar target, class-balanced logistic regression(C=1.0)으로 binary target 예측
• 5-fold protein-level GroupKFold로 동일 단백질의 모든 residue가 같은 fold에 속하도록 split 구성
• fold 평균, permutation baseline, paired fold test, Cohen's d로 통계적 유의성 평가
• residue-level split과 protein-level split을 비교하여 leakage 효과 정량화

Originality

• 기존의 "구조가 구조적 과제에 도움이 된다"는 정성적 통념을 IB라는 정량적, task-level 지표로 operationalize한 점이 참신하다
• AF2와 ESM-2를 binding·flexibility·allostery라는 서로 다른 메커니즘의 세 과제에 걸쳐 동일한 protocol로 비교한 체계적 벤치마크 설계
• residue-level cross-validation leakage를 구체적으로 정량화(27-39% 성능 인플레이션)하여 표현 순위 역전까지 보인 방법론적 기여
• allostery라는, 장거리 geometric 통신에 의존하는 과제를 별도로 분리해 AF2의 고유한 이점을 드러낸 task 선정의 독창성

Limitation & Further Study

• binding affinity 과제에서 probe가 ligand representation 없이 protein feature만 사용하므로, 실제로는 complex-specific complementarity가 아닌 protein-level correlate(예: pocket druggability)만 측정하는 한계가 있으며 저자도 이를 명시적으로 인정함
• AF2가 single-sequence mode로 실행되어 MSA 기반 co-evolutionary 정보를 활용하지 못했으므로 AF2의 실제 잠재력을 과소평가했을 가능성이 있음
• 단백질을 서열 유사도로 clustering하지 않고 split하여 homolog leakage가 모든 표현에 동일하게 영향을 주긴 하지만 전체 점수를 인플레이션시킬 가능성이 존재함
• allostery 데이터셋 규모(47 단백질)가 작고 positive class가 4.8%로 불균형하여 통계적 검정력이 제한적일 수 있음
• 후속 연구로 MSA 기반 AF2 표현, fine-tuning된 probe, 더 다양한 foundation model(SaProt 등) 비교, 더 큰 allostery 데이터셋 구축이 필요함

Evaluation

총평: representation 선택을 정량적, task-dependent 결정 문제로 재구성한 실용적이고 통찰력 있는 연구로, AI-for-science 파이프라인 설계에 직접적인 가이드를 제공하는 점에서 가치가 크다. 다만 binding affinity 실험 설계의 한계(ligand 정보 부재)와 single-sequence AF2 사용으로 인한 구조 정보의 과소평가 가능성은 결과 해석 시 유의해야 한다.