Protein Fold Classification at Scale: Benchmarking and Pretraining

Motivation

• Known: AlphaFold Database와 같은 대규모 예측 구조 데이터의 등장으로 protein modeling 분야에서도 컴퓨터 비전의 ImageNet과 유사한 표준화된 대규모 지도학습 벤치마크가 필요하다는 인식이 확산되었고, CATH와 같은 구조 분류 체계가 fold assignment의 표준 참조로 오랫동안 사용되어 왔다.
• Gap: 기존 fold classification 벤치마크는 최대 15K 단백질 규모에 그쳐 중복성과 규모 면에서 한계가 있었고, 기존 protein representation learning 방법들은 TEDBench와 같은 대규모 설정에서 매우 큰 모델을 요구하거나 성능이 충분하지 않아 어떤 모델이 대규모 non-redundant domain-level fold classification 과제에서 효과적인지 불분명했다.
• Why: 단백질 구조로부터 fold(위상)를 예측하는 능력은 기능 해석의 핵심이며, 대규모의 중복 없는 표준 벤치마크와 확장 가능한 self-supervised pretraining recipe는 구조생물학 분야가 컴퓨터 비전·NLP처럼 빠른 반복적 혁신을 이룰 수 있는 토대를 제공하기 때문에 중요하다.
• Approach: TED(Encyclopedia of Domains)와 Foldseek-clustered AlphaFold 구조를 결합해 대규모 non-redundant 벤치마크 TEDBench를 구축하고, 이를 기반으로 극단적 masking ratio와 SE(3)-invariant encoder, 경량 decoder를 사용하는 self-supervised 프레임워크 MiAE를 제안하여 벤치마킹한다.

Achievement

Figure 2. Reconstructions of experimental structures using an

1. TEDBench 벤치마크 구축: TED 주석을 Foldseek-clustered AlphaFold 구조에 투영하여 462,175개의 예측 구조와 27,638개의 실험 구조(외부 테스트셋)로 구성된, 기존 대비 30배 이상 규모가 큰 non-redundant fold classification 벤치마크를 제공했다.
2. 기존 방법들의 한계 규명: 대표적인 equivariant 모델과 사전학습 모델들을 TEDBench에서 평가한 결과, 처음부터 학습한 최강 equivariant baseline이 65.44 macro-F1에 그치고, 널리 쓰이는 pretrained 모델들은 linear probing에서 이보다 낮은 성능을 보임을 확인했다.
3. MiAE 제안 및 성능 검증: 최대 90% masking ratio의 비대칭 encoder-decoder 구조를 가진 MiAE가 from-scratch 학습 시 equivariant baseline 대비 macro-F1을 10.23점 향상시켰고, self-supervised pretraining 후 linear probing에서 최대 70.44 macro-F1을 달성했으며, fine-tuning을 통해 더 적은 파라미터로도 supervised 및 최신 sequence/sequence-structure 모델을 능가했다.
4. CATH v4.4 실험 구조 전이 검증: AlphaFold 구조를 넘어 실험적으로 결정된 CATH v4.4 구조에서도 벤치마킹을 수행하여 모델의 일반화 가능성을 검증했다.

How

Figure 3. Overview of the MiAE architecture. During pre-training, a high masking ratio (e.g., 90%) is applied to backbon

• TED 데이터베이스의 도메인 분할 및 CATH 매핑 결과를 Foldseek 클러스터링된 AlphaFold 구조에 투영하여 중복을 제거하면서 구조 다양성을 보존하는 방식으로 TEDBench를 구축
• 각 구조에 대해 CATH Topology(T-level) 레이블을 단일 타깃으로 하는 multi-class classification 과제로 정식화
• MiAE는 잔기(residue) 단위의 구조적 프레임(frame)을 최대 90%까지 masking하고, SE(3)-invariant encoder가 보이는(visible) 소수의 프레임만 처리한 뒤, 경량 decoder가 잠재 표현(latent representation)과 mask token을 이용해 backbone 좌표를 3D 공간에서 재구성하도록 학습(masked autoencoder 방식 차용)
• 이러한 비대칭 encoder-decoder 구조를 통해 효율적인 스케일링과 강력한 표현 학습을 달성
• from-scratch 학습, self-supervised pretraining 후 linear probing, task-specific fine-tuning 등 다양한 학습 프로토콜에서 equivariant baseline, supervised 모델, 최신 pretrained sequence/structure 모델과 비교 평가

Originality

• 기존에 없던 대규모(490K 단백질) non-redundant 단백질 fold classification 벤치마크(TEDBench)를 최초로 제안하여 기존 벤치마크(최대 15K) 규모를 30배 이상 확장
• 이미지 도메인의 masked autoencoder 개념을 단백질 3D 구조에 적용하면서 극단적으로 높은 masking ratio(최대 90%)와 SE(3)-invariance를 결합한 새로운 self-supervised 구조 표현 학습 프레임워크(MiAE) 설계
• 비대칭 encoder-decoder 구조(희소한 visible frame만 처리하는 encoder + 경량 decoder)를 단백질 backbone 좌표 재구성 과제에 접목하여 효율적 확장성 확보
• AlphaFold 예측 구조뿐 아니라 CATH v4.4의 실험 구조로 전이 성능을 검증하는 이중 평가 체계 제시

Limitation & Further Study

• TEDBench가 AlphaFold 예측 구조에 크게 의존하고 있어, 실험 구조에 대한 외부 테스트셋 규모(27,638개)가 상대적으로 작아 실험 구조로의 일반화에 대한 보다 폭넓은 검증이 필요함
• Topology(T-level) 단일 레이블만을 타깃으로 하여 CATH 계층의 다른 레벨(Class, Architecture, Homologous superfamily)에 대한 세밀한 평가가 부족함
• 90%에 이르는 매우 높은 masking ratio가 어떤 구조적 특성(예: 도메인 크기, 이차구조 다양성)에 따라 성능에 영향을 주는지에 대한 심층적 분석이 제한적임
• 후속 연구로 sequence 정보와의 결합, 더 다양한 downstream task(예: 기능 예측)로의 확장, 그리고 다른 masking 전략과의 체계적 비교가 필요함

Evaluation

총평: 대규모 non-redundant 벤치마크와 효과적인 self-supervised pretraining recipe를 함께 제시하여 protein fold classification 분야의 표준화된 평가와 향후 모델 개발에 중요한 기여를 하는 실용적이고 견고한 연구이다.