AlphaInterp: Probing AlphaFold 3's Internal Representations Reveals Evolutionary Determinants of Predicted Structure and Confidence

Motivation

• Known: AlphaFold 2/3는 구조 예측에서 뛰어난 성능을 보이지만, 내부 계산 메커니즘이 불명확했다. 특히 MSA의 역할, 변이 불변성, 그리고 out-of-distribution 입력에서의 성능 저하가 알려진 문제였다.
• Gap: AlphaFold 3의 내부 표현이 정확히 무엇을 인코딩하는지, MSA가 어떻게 내부 기하학을 형성하는지, 그리고 변이 불변성이 표현 수준에서 어디서 비롯되는지가 미해결 상태였다. mechanistic interpretability를 구조 예측 모델에 체계적으로 적용한 연구가 부재했다.
• Why: AlphaFold 3의 내부 메커니즘을 이해하면 파생 도구들(protein design, binding prediction 등)이 진정한 생물물리학적 원리에 기반하는지, 아니면 단순 패턴 매칭인지 판단할 수 있다. 이는 novel 단백질 family나 engineered sequence로의 일반화 가능성에 직접 영향을 미친다.
• Approach: 400개의 단일체 단백질(200개 novel, 200개 similar)을 분석하여 forward pass의 네 지점(Checkpoint A, B, C1, CN)에서 single(L×384)과 pair(L×L×128) 표현을 추출했다. Principal component analysis, linear probing, representational geometry 분석, 그리고 MSA 제거/변조 실험을 통해 표현 특성과 인과 관계를 조사했다.

Achievement

Fig. 1

• 표현 기하학 구조화: Pairformer가 확산적인 co-evolutionary manifold을 compact latent space로 압축하며, biophysical features가 선형으로 인코딩됨을 증명
• 진화적 의존성: 깊은 깊이의 divergent homolog 몇 개가 많은 near-identical sequence보다 예측 정확도에 더 기여함
• MSA 역할 규명: MSA는 깊이가 아닌 phylogenetic diversity에 의존하며, MSA 제거 시 structurally similar 단백질로도 정확도 붕괴
• 변이 불변성 원인: 표현 기하학에서 인과적으로 조작 가능한 신뢰도가 구조적으로 제약된 위치에서의 과도한 안정성을 유발
• fold recognition 해석: AlphaFold 3는 raw sequence보다 comparative evolutionary context에 의존하는 민감한 fold recognition 알고리즘

How

Fig. 1

• Checkpoint extraction: forward pass의 특정 지점에서 internal representation 추출
• Dimensionality reduction: mean pooling과 PCA를 통한 고정 크기 벡터 생성
• Linear probing: 내부 표현이 biophysical features를 인코딩하는 정도 측정
• Representational geometry analysis: PC score와 distogram entropy 변화 추적
• Causal manipulation: representation space에서의 의도적 변경이 출력에 미치는 영향 검증
• MSA ablation: alignment 제거/수정하여 역할 규명
• Adversarial benchmark: 변이, fold-switching, structural generalization 테스트

Originality

• AlphaFold 3에 최초로 체계적인 mechanistic interpretability 프레임워크 적용
• checkpoint 기반의 단계별 표현 추적으로 정보 흐름의 동적 변화 포착
• representational geometry를 통한 인과적 신뢰도 조작 시연
• MSA의 phylogenetic diversity 의존성을 정량적으로 규명한 첫 연구

Limitation & Further Study

• 데이터 제약: 400개 단백질 분석으로 모든 단백질 유형을 포괄하기 어려움 (multimeric complex, nucleic acid, small molecule 미포함)
• 모델 특화성: AlphaFold 3에만 적용되었으며, 다른 구조 예측 모델로의 일반화 가능성 미검증
• 선형성 가정: biophysical features의 선형 인코딩 가정이 모든 특성에 적용되는지 불명확
• 후속 연구: 다양한 단백질 종류에서의 재현, 다른 구조 예측 모델 분석, non-linear representation의 역할 규명 필요

Evaluation

총평: AlphaFold 3의 내부 작동 원리를 처음으로 체계적으로 규명한 획기적 연구다. mechanistic interpretability 분석을 통해 MSA의 phylogenetic diversity 의존성, fold recognition 본질, 그리고 변이 불변성의 표현 수준 원인을 명확히 밝혔다. 구조 예측, 단백질 설계, 진화 추론 등 광범위한 응용에 직접적 영향을 미친다.