PDFBench: A Benchmark for De Novo Protein Design from Function

Motivation

• Known: 기존 연구들은 protein design from function 모델을 평가할 때 pLDDT, perplexity, ProTrek Score 등 서로 다른 제한된 지표 부분집합만을 사용해왔으며, description-guided(Mol-Instructions 등)와 keyword-guided(GO, IPR 등) 두 유형의 태스크가 별도로 다루어져 왔다.
• Gap: 평가 지표가 모델마다 일관성 없이 부분적으로만 사용되어 공정한 비교가 불가능하고, 서로 다른 평가 기준(Plausibility, Foldability, Language Alignment, Similarity, Novelty, Diversity) 간의 상관관계가 체계적으로 연구되지 않아 향후 연구 방향에 대한 통찰이 부족하다.
• Why: 통일된 평가 프레임워크가 없으면 새로운 모델 개발 시 어떤 지표를 최적화해야 하는지, 그리고 기존 모델 간 우열을 신뢰성 있게 비교하기 어려워 분야 발전이 저해되므로, 공정하고 포괄적인 벤치마크는 drug discovery와 enzyme engineering 응용에 실질적 기여를 할 수 있다.
• Approach: 저자들은 Mol-Instructions 데이터셋을 재활용한 MolinstTest와 datetime cutoff를 적용해 새로 구축한 SwissTest 두 평가셋을 도입하고, 8개 SOTA 모델을 6개 차원 16개 지표로 종합 평가하는 PDFBench를 제안한다.

Achievement

Figure 3. (a) presents the distribution of PPL and pLDDT. (b)

1. 최초의 통합 벤치마크 구축: description-guided와 keyword-guided(IPR, GO, IPR&GO) 3개 세부 태스크를 아우르는 PDFBench를 제시하여 8개 모델을 16개 지표(Plausibility, Foldability, Language Alignment, Similarity, Novelty, Diversity)로 평가함.
2. 공정성 분석 및 데이터 오염 방지: MolinstTest에서 hard/soft overlap을 정량적으로 분석하고, SwissTest는 2025년 1월~8월 데이터만 포함하는 datetime cutoff를 적용해 데이터 유출 문제를 최소화함. Mol-Instructions test set의 단 0.24%만이 SwissProt과 50% 이상 기능적 유사성을 가짐을 확인.
3. 지표 간 상관관계 규명: PPL과 pLDDT 간 Pearson 상관계수 0.76, PPL과 PAE 간 -0.87 등 낮은 PPL·Repeat 점수가 잘 접힌 구조와 일관되게 연관됨을 발견했고, retrieval 기반 평가가 검색 전략에 따라 최대 66.31%p까지 차이 나는 민감성을 보임을 밝힘.

How

Figure 2. Examples of inputs and outputs for the description-guided protein design task and the keyword-guided protein d

• description-guided task: Mol-Instructions의 protein-oriented instruction test set을 MolinstTest로 재구성
• keyword-guided task: UniProt/SwissProt에서 2025년 1월 1일~8월 25일 기간의 항목만 선별한 SwissTest를 신규 구축(GO/IPR 키워드 및 이를 변환한 텍스트 설명 포함)
• ProDVa, Pinal, PAAG, Chroma, ProteinDT, CFP-Gen, ESM3, ProteoGAN 등 8개 baseline 모델을 대상으로 실험
• Plausibility(Perplexity, Repetitiveness), Foldability(pLDDT, PAE), Language Alignment(ProTrek Score, Keyword Recovery, Retrieval Accuracy), Similarity, Novelty, Diversity 등 6개 차원 16개 지표로 평가
• Appendix에서 hard/soft overlap을 분석하여 데이터 오염 여부를 검증하고 retrieval 전략(예: random sampling)에 따른 민감도 분석 수행

Originality

• 기존에 부분적·비일관적으로 사용되던 평가 지표들을 6개 차원 16개 지표로 체계화하여 최초로 통합한 점
• description-guided와 keyword-guided라는 이질적인 두 태스크 유형을 하나의 벤치마크 프레임워크 안에서 함께 다룬 점
• 단순 지표 나열이 아니라 지표 간 Pearson 상관관계를 정량적으로 분석하여 지표 간 관계에 대한 실증적 통찰을 제공한 점
• datetime cutoff 기반의 SwissTest를 신규 구축해 데이터 오염 문제를 사전에 차단하려는 방법론적 엄밀성

Limitation & Further Study

• soft overlap 분석이 기능적 유사성(50% functional identity) 기준 하나에만 의존하고 있어 다른 유사성 기준에서도 결론이 유지되는지 추가 검증이 필요함
• SwissTest의 datetime cutoff가 2025년 1~8월이라는 짧은 기간에 의존하므로 표본 크기와 다양성이 제한적일 수 있음
• 8개 모델은 벤치마크 시점 기준 최신이지만, 빠르게 발전하는 분야 특성상 새로운 모델이 등장할 때마다 벤치마크를 지속적으로 갱신해야 하는 유지보수 부담이 있음
• retrieval 기반 지표가 전략에 따라 큰 편차를 보인다는 점은 밝혔으나, 이를 표준화할 구체적 가이드라인 제시는 제한적임

Evaluation

총평: function-guided protein design 분야에 실질적으로 필요했던 통합 평가 프레임워크를 체계적으로 구축하고 지표 간 관계에 대한 유용한 실증적 통찰을 제공한 견실한 벤치마크 논문이다.