Adversarial Sequence Mutations in AlphaFold and ESMFold Reveal Nonphysical Structural Invariance, Confidence Failures, and Concerns for Protein Design

Motivation

• Known: AlphaFold 2는 단백질 구조 예측에서 근-실험 정확도를 달성했고, AlphaFold 3는 diffusion 기반 구조와 확장된 훈련 세트로 단백질-단백질 인터페이스와 멀티머 복합체에서 개선된 정확도를 보인다. 또한 AlphaFold는 단백질 설계, 약물 발견, 바인더 설계 등 다양한 downstream 응용의 기초로 광범위하게 사용되고 있다.
• Gap: AlphaFold가 진정한 생물물리학적 원칙을 학습했는지, 아니면 template matching을 통한 패턴 인식에 주로 의존하는지 불명확하며, 특히 out-of-distribution 입력이나 큰 변이를 가진 서열에 대한 일반화 능력에 대한 체계적 평가가 부족하다.
• Why: AlphaFold 기반 단백질 설계, 약물 발견, 모델링 워크플로우의 신뢰성을 판단하기 위해서는 모델이 학습한 것이 생물물리학적 원칙인지 구조 기억화인지를 구별하는 것이 매우 중요하다. 이는 현재 알려진 한계를 이해하고 향후 모델 개선 방향을 제시할 수 있기 때문이다.
• Approach: 200개의 단백질을 4가지 범주(monomer-novel, monomer-similar, multimer-novel, multimer-similar)로 나누어 AlphaFold 3에 입력하고, 5%, 10%, 20%, 40%, 70% 수준의 점 변이를 의도적으로 도입하여 구조 예측을 수행한다. 또한 결손 변이도 적용하며, TM-score와 DockQ 메트릭을 사용하여 구조 유사성을 평가하고, confidence metrics의 신뢰성을 검증한다. ESMFold와의 비교를 통해 상대적 성능을 평가한다.

Achievement

Fig. 1

• 구조 불변성: 40% 치환에도 monomer는 평균적으로 동일 global fold를 유지하며, multimer도 40% 이상의 경우에서 fold 정확성 보존
• confidence metrics의 실패: ranking score가 5% 변이에서 70% 변이까지 0.73에서 0.62로만 저하되어, 20% 변이(높은 신뢰도 기준 0.6)에서도 과도하게 높은 confidence 유지
• fold-switching 단백질의 문제: 실험적으로 검증된 fold-switching 단백질도 alternative conformation을 반영하지 못함
• 모델 간 비교: ESMFold가 더 높은 mutational sensitivity를 보여 sequence-structure coupling이 더 우수함을 시사

How

Fig. 1

• AlphaFold 3를 200개 단백질에 적용하고 체계적 점 변이 도입 (최대 70%)
• 구조 비교를 위해 TM-score (global fold similarity) 및 DockQ (interfacial accuracy) 메트릭 사용
• Pearson/Spearman 상관계수로 mutation 수준과 metric 저하의 관계 분석
• Fold-switching 단백질에 대한 특화된 분석 (15개 검증된 단백질)
• ESMFold와의 직접 비교를 통해 mutational sensitivity 평가
• Confidence metric과 구조 품질의 관계 분석

Originality

• AlphaFold 3에 대한 체계적 adversarial evaluation 수행이 이전 연구들보다 포괄적 (200개 단백질, 4가지 범주, 5가지 변이 수준)
• Fold-switching 단백질에 초점을 맞춰 모델의 근본적 한계를 드러냄
• Template memorization vs. biophysical reasoning을 구분하는 명확한 방법론 제시
• Confidence metric의 신뢰성 문제를 정량적으로 입증

Limitation & Further Study

• 제한된 분석 범위: Monomeric 및 multimeric 단백질만 분석, 더 복잡한 구조 유형 미포함
• Template 영향 평가 미흡: 훈련 데이터 중 실제 template 유사도를 정량적으로 평가하지 않아 template matching 가설의 직접적 증거 부족
• 구조적 대안 모색 부재: 불변성 원인에 대한 깊이 있는 메커니즘 분석 부재
• 후속 연구 방향: (1) 다양한 단백질 복합체 및 더 큰 규모 시스템에 대한 확장, (2) Template 유사도와 예측 불변성의 직접 관계 검증, (3) AlphaFold 모델 내부 representation 분석을 통한 근본 원인 규명

Evaluation

총평: 본 연구는 AlphaFold 3의 근본적 한계를 체계적으로 입증하고 이미 널리 사용 중인 단백질 설계 응용들의 신뢰성에 대한 중요한 의문을 제기한다. 비록 template matching의 직접적 메커니즘 분석이 부족하지만, 실험적으로 검증된 fold-switching 단백질에 대한 실패 사례와 포괄적 adversաlyzer 평가를 통해 중요한 과학적 기여를 한다.