ProtDBench: A Unified Benchmark of Protein Binder Design and Evaluation

Motivation

• Known: protein binder design 분야에서 diffusion 기반 및 hallucination 기반 생성 방법들(RFdiffusion, BindCraft 등)이 빠르게 발전하고 있으며, 성공 여부는 주로 pLDDT, ipTM, ipAE와 같은 structure prediction 모델의 confidence score를 이용한 in silico filtering으로 평가된다.
• Gap: 기존 평가 관행은 target 선정, hotspot 정의, filtering threshold, verifier 선택, 계산 예산 등이 논문마다 제각각이어서 서로 다른 방법 간 공정한 비교가 어렵고, confidence metric과 실제 실험 결과 간의 상관관계도 제한된 데이터셋에서만 검증되어 신뢰성이 불명확하며, throughput 관련 trade-off와 filtering pipeline의 재현성 또한 충분히 다뤄지지 않았다.
• Why: protein binder design은 치료제 개발, 진단, 합성생물학의 핵심 과제이며, 실험 검증에 앞선 in silico 평가가 표준화되지 않으면 서로 다른 생성 방법들의 실제 우열을 판단할 수 없어 연구 자원의 비효율적 배분과 잘못된 결론으로 이어질 수 있다.
• Approach: ProtDBench는 평가를 생성 메커니즘과 독립적인 구성 가능한 프로세스로 명시적으로 정형화하여, verifier·filtering·success criteria·throughput budget을 모듈화된 요소로 정의함으로써 재현 가능하고 통제된 비교를 가능하게 한다.

Achievement

1. 통합 평가 프레임워크 제안: verifier, filter, success criteria, throughput budget을 모듈화한 ProtDBench Algorithm 1을 통해 평가 과정을 표준화하고 재현 가능하게 만들었다.
2. verifier 편향성 규명: Cao dataset이라는 대규모 wet-lab annotated dataset을 사용해 pLDDT, ipTM, ipAE 등 흔히 쓰이는 structure prediction 기반 verifier들 간에 상당한 편향과 제한적 합의(agreement)가 존재함을 실증했다.
3. generative 방법 벤치마킹: 10개의 다양한 protein target에 대해 대표적인 open-source binder design 방법들을 고정된 프로토콜 하에서 비교하여 per-sequence success rate뿐 아니라 cluster-level diversity, structural consistency를 함께 평가했다.
4. throughput-aware metric 도입: 24시간 고정 계산 예산 기반의 throughput-aware metric을 통해 계산 효율성, success rate, 구조적 다양성 간의 체계적 trade-off를 드러냈다.

How

• Target protein {Tseq, Tstr}과 binding constraints c가 주어졌을 때 생성 방법 fθ가 binder sequence-structure 쌍 (Bseq, Bstr)을 생성하는 문제로 formulation을 정의
• Evaluation verifier V를 target-binder pair를 confidence score vector z로 매핑하는 함수로 정의하고, structure prediction 모델(예: AlphaFold 계열, Protenix-Mini 등)을 모듈식으로 교체 가능하게 설계
• Filter F(z)를 threshold 기반 deterministic predicate(예: AlphaProteo의 pTMbinder, RMSD, ipAE 기준)로 정의하여 filtering 단계를 명시화
• Success criteria를 per-sequence pass rate와 cluster-level pass rate(FoldSeek/TM-score 기반 구조 유사도 clustering)로 구분하여 다양성까지 고려
• 고정된 24시간 단일 GPU 계산 예산 하에서 throughput-aware metric을 산출해 계산 자원 제약을 반영
• Cao dataset을 이용해 여러 structure prediction verifier들의 예측력과 상호 보완성(complementarity)을 대규모로 retrospective 분석
• 표준화된 프로토콜 하에서 다양한 open-source generative binder design 방법(예: RFdiffusion, BindCraft 계열 등)을 10개 target에 대해 벤치마킹

Originality

• 평가를 생성 파이프라인의 고정 요소가 아니라 독립적이고 구성 가능한(configurable) 프로세스로 명시적으로 formalize한 최초의 통합 프레임워크
• wet-lab annotated 대규모 데이터셋(Cao dataset)을 활용해 structure prediction 기반 verifier들의 실제 실험적 타당성과 편향을 체계적으로 검증
• 단순 success rate를 넘어 throughput-aware metric과 cluster-level diversity 개념을 결합해 실제 배포 환경의 trade-off를 반영한 다차원적 평가 체계 제시
• filter, verifier, success criteria를 모듈화하여 다양한 생성 방법 간 공정하고 재현 가능한 비교가 가능하도록 설계

Limitation & Further Study

• Cao dataset 한 종류의 wet-lab annotated dataset에 기반한 verifier 분석이므로 다른 종류의 target이나 실험 조건에 대한 일반화 가능성은 추가 검증이 필요함
• 10개 target에 대한 벤치마킹 결과가 전체 protein binder design 문제 공간을 대표하는지에 대한 논의가 제한적일 수 있음
• 24시간 단일 GPU 예산이라는 throughput 기준이 다양한 하드웨어 환경 및 실제 연구 세팅을 완전히 반영하지 못할 가능성이 있음
• 향후 연구로는 더 다양한 wet-lab dataset 통합, 다양한 GPU/클러스터 환경에 대한 throughput 일반화, 그리고 verifier 조합 최적화 전략에 대한 후속 연구가 필요함

Evaluation

총평: ProtDBench는 protein binder design 분야에서 오랫동안 방치되어온 평가 표준화 문제를 정면으로 다루며, wet-lab 데이터에 기반한 실증적 verifier 분석과 throughput-aware 벤치마킹을 결합해 실용적이고 재현 가능한 평가 인프라를 제공하는 의미 있는 기여로 평가된다.