NanoFold: A Compute-Efficient Benchmark for Controlled and Autonomous Research on Protein Structure Models

Motivation

• Known: OpenFold, ESMFold, Boltz-1/2, Chai-1, Protenix, OpenFold3 등 다양한 open-source AF-style 시스템이 AlphaFold2/AlphaFold3를 기반으로 빠르게 발전해왔으며, CASP, CAMEO, PXMeter 같은 커뮤니티 규모 블라인드 평가 체계가 모델의 최종 성능을 측정하는 데 사용되어 왔다.
• Gap: production-scale AF-style 학습은 수만 GPU-hour급 자원이 필요해 소수 연구실 외에는 재현이 불가능하고, 공개 corpus를 단순 축소(subsampling)하면 sequence-cluster 상동성, 중복 construct, alternate crystal form 등으로 인해 train/eval 간 생물학적 leakage가 발생해 축소 규모 연구의 신뢰도를 저해한다. 즉 leakage 통제, 분포적 층화, sealed evaluation, 공유 학습 코드베이스를 모두 갖춘 소규모 AF-style 학습용 리소스가 존재하지 않았다.
• Why: 아키텍처 및 학습 선택이 성능에 미치는 인과적 기여를 통제된 실험으로 규명하는 것은 구조생물학, 신약개발, 단백질 엔지니어링 등 실응용을 지탱하는 AF-style 시스템의 발전 방향을 투명하고 재현 가능하게 만드는 데 필수적이며, 이를 compute-accessible한 규모에서 가능하게 하는 것은 연구 접근성 측면에서 중요한 의의를 가진다.
• Approach: NanoFold는 OpenProteinSet에서 추출한 10,000-chain 학습 corpus와 MMseqs2 cluster·PDB-entry 단위로 분리되고 구조적 메타데이터(CATH, SCOPe, ECOD)로 층화된 public/sealed 평가 분할, 자동화된 FoldScore 평가 프로토콜, 참조 AF-style 학습 코드베이스를 결합한 벤치마크이며, GPT-5.5 기반 Codex 자율 연구 에이전트를 이용해 이 벤치마크 위에서 ablation과 architecture-search 실험을 자동 수행함으로써 벤치마크의 유용성을 검증한다.

Achievement

Figure 3. NanoFold ablation signals. Panel A shows represen-

1. leakage 통제 벤치마크 구축: MMseqs2 cluster 및 PDB-entry 단위로 disjoint하고 구조적 메타데이터로 층화된 10,000/1,000/1,000 chain 규모의 3-track(limited, research large, unlimited) 벤치마크를 구축했다.
2. 통계적 검증: 구조적 특징, sequence-family coverage, 단백질 foundation model 임베딩, 1,000개의 대안 분할에 대한 randomization study를 통해 NanoFold의 split이 통계적으로 typical하고 잘 분포되어 있음을 입증했다.
3. 자율 연구 에이전트를 통한 실증: GPT-5.5 기반 Codex 에이전트로 자율적으로 ablation 및 architecture-search 실험을 수행한 결과, NanoFold가 learnable하지만 unsaturated하며, 학습 primitive들을 구분해내고, budget에 따라 예측 가능하게 스케일하며, 사전 정의된 AF-style variant를 넘어서는 반복적 발견(iterative discovery, 예: SimplexFold)을 지원함을 보였다.

How

Figure 2. Embedding-space coverage. UMAP projection (McInnes et al., 2018) of 1280-dimensional ESM2 mean embeddings over

• OpenFold/OpenProteinSet 자산과 RCSB mmCIF 좌표를 결합해 단일 eligible source pool을 구성하고, 모든 참가자가 동일한 tensor schema와 processable universe를 공유하도록 설계
• MMseqs2 sequence cluster 및 PDB entry 단위 disjointness를 강제해 train/public/hidden 간 생물학적 leakage 제거
• CATH, SCOPe, ECOD 구조 메타데이터에 대한 stratification으로 분포적 편향 최소화
• ESM2 기반 임베딩 coverage 진단, UMAP 시각화(Fig 2), 1,000개 대안 valid split에 대한 conditional randomization study로 split 품질을 통계적으로 검증
• limited/research large/unlimited의 3개 compute-budget track과 held-out sealed test label, 자동화된 FoldScore 평가 프로토콜, reference AF-style 학습 코드베이스 제공
• OpenAI GPT-5.5를 Codex harness에 탑재한 자율 연구 에이전트가 이 고정된 데이터·코드·평가 위에서 ablation 및 architecture-search(예: SimplexFold, Goal Mode autoresearch lineage) 실험을 자율 수행

Originality

• production-scale 재현이나 단순 subsampling이라는 기존 두 접근법의 한계(비용 및 leakage)를 동시에 해결하는 절충안으로서 leakage-aware fixed-data benchmark를 제안한 점
• 구조생물학 벤치마크에서 흔히 설계 선택으로만 보고되던 split 품질을 metadata-balance audit, foundation model 임베딩 coverage, 1,000회 randomization study 등 통계적 검증 절차로 뒷받침한 최초의 시도
• 벤치마크를 단순 평가 도구가 아니라 GPT-5.5 기반 자율 연구 에이전트의 testbed로 활용해, 사전 정의된 AF-style variant를 넘어서는 자율적 아키텍처 발견(SimplexFold 등)을 이끌어낸 점

Limitation & Further Study

• 10,000-chain 규모의 고정 소규모 데이터가 production-scale 모델의 모든 스케일링 현상을 그대로 재현한다고 보장하기는 어려우며, 소규모에서 관찰된 ablation 경향이 실제 production 규모로 얼마나 정확히 전이되는지에 대한 정량적 검증이 제한적일 수 있다
• 자율 연구 에이전트(GPT-5.5/Codex)의 실험 설계 및 해석 품질에 결과 해석이 의존하므로, 에이전트의 편향이나 재현성 이슈가 벤치마크 결론에 영향을 줄 가능성이 있다
• 향후에는 더 다양한 foundation model 백본, 멀티체인/복합체 구조로의 확장, production-scale 모델과의 직접적 상관관계 검증 연구가 필요하다

Evaluation

총평: AF-style 단백질 구조 예측 연구의 고질적 문제인 재현 비용과 데이터 leakage를 동시에 다루는 실용적이고 통계적으로 검증된 벤치마크를 제시했으며, 자율 연구 에이전트와 결합한 활용 사례까지 보여줌으로써 접근성 있는 아키텍처 연구의 새로운 표준을 제안한 의미 있는 작업이다.