Natural-Language-Guided Generator-Agnostic Shortlisting for Protein Binder Design

Motivation

• Known: AlphaFold2, Boltz-2, Protenix/PXDesign 등 구조 예측 기반 confidence score와 interface 관련 proxy 지표(ipTM, ipSAE, pDockQ2, Rosetta interface ΔG 등)가 binder 후보 triage에 유용하다는 것이 알려져 있으며, BindCraft, Adaptyv Bio 등 워크플로우별 고정 필터/랭킹 규칙이 실제로 사용되고 있다.
• Gap: 기존 워크플로우별 필터는 특정 파이프라인에 종속적이며, 서로 다른 소스에서 생성·수집된 이질적 후보 풀을 통합해 실험 검증을 위한 최종 top-K를 선정하는 generator-agnostic한 post-generation shortlisting 문제는 충분히 다뤄지지 않았고, 예측 성능이 타겟마다 크게 달라지는 문제도 미해결 상태이다.
• Why: wet-lab 검증 용량이 제한된 상황에서 shortlisting은 생성된 binder 후보를 실제 검증된 hit으로 전환하는 효율을 결정하는 핵심 병목이므로, 해석 가능하고 generator에 무관한 shortlisting 정책은 다양한 파이프라인에서 재사용 가능한 실질적 가치를 지닌다.
• Approach: binder 후보 생성 자체는 다루지 않고, 이미 생성된 후보 풀에 대해 공통 17개 feature proxy panel을 이용하여 고정 휴리스틱, 지도학습 ML, global LLM policy, target-conditioned LLM policy를 동일한 held-out 후보 풀과 top-K 지표 상에서 통제 비교한다.

Achievement

Figure 2. Feature weights in target-conditioned iterative gpt-4o ranking policies over the full 17-feature panel. The ve

1. 10-target held-out 성능 개선: 5개 샘플링된 global iterative gpt-4o policy 평균이 Recall@10 0.589를 달성하여, 가장 강력한 단일 feature 고정 baseline인 Protenix binder ipTM(0.571)을 소폭 상회했다.
2. 3-target subset 최고 LLM 성능: Nipah, RBX1, TREM2로 구성된 3-target held-out subset에서 target-conditioned iterative gpt-5.4 policy가 Recall@10 0.519, NDCG@10 0.583으로 LLM 기반 방법 중 최고 성능을 보였다.
3. 해석 가능한 결정 계층 제시: LLM이 생성한 랭킹 정책이 이질적 구조적 신뢰도 및 interface 품질 proxy 지표를 결합하는 해석 가능한 feature-weighted 조합으로 작동함을 보였다.

How

Figure 1. Overview of the post-generation binder shortlisting task. For each target protein, a fixed pool of candidate b

• Target 별로 생성 후보 풀 Ct와 이에 대한 고정 proxy-score 벡터(AF2-Multimer, Boltz-2, Protenix의 confidence score 및 interface descriptor를 포함한 17-feature panel)를 구성
• 정책(policy) π를 candidate proxy score를 top-K 순위로 매핑하는 결정론적 규칙으로 정의하고, fixed heuristics, 지도학습 ML 모델(LR/XGBoost), global LLM policy, target-conditioned LLM policy를 비교
• LLM policy는 feature 설명, development set의 single-feature 성능, development/held-out pool 통계를 프롬프트로 제공받아 iterative하게 정책을 생성(반복적으로 정책을 개선)
• development 데이터셋(11개 target, 327개 design)에서 정책을 튜닝하고, held-out 평가셋(10개 target, 2,269개 design, BindCraft revalidation·EGFR·pMHC minibinder·Nipah·RBX1·TREM2 등 이질적 소스 포함)에서 Recall@K, Hit@K, NDCG@K로 평가

Originality

• binder 생성이 아닌 post-generation shortlisting을 독립적인 정책 합성(policy synthesis) 문제로 명시적으로 분리하여 정식화
• 여러 구조 예측 모델(AF2-Multimer, Boltz-2, Protenix)과 interface descriptor를 아우르는 공통 17-feature proxy panel을 통해 generator-agnostic한 비교 프레임워크를 구축
• LLM을 자연어 지침으로 다중 지표 랭킹 정책을 생성하는 해석 가능한 post-generation 결정 계층으로 활용하는 새로운 응용 시도
• global LLM policy와 target-conditioned LLM policy를 나누어 랭킹 규칙이 전역적이어야 하는지 타겟별이어야 하는지를 실증적으로 검증

Limitation & Further Study

• held-out target 수가 10개(또는 3개 subset)로 제한적이어서 통계적 유의성과 일반화 가능성 검증이 부족함
• 성능 향상 폭이 강력한 단일 feature baseline 대비 "modest"한 수준으로, 실제 wet-lab 검증에서의 실질적 이득은 불확실함
• LLM policy 생성의 stochasticity(5개 샘플 평균 등)로 인한 재현성 문제와, iterative 과정의 계산 비용/프롬프트 설계 민감도에 대한 분석이 제한적
• 서로 다른 소스(BindCraft, Adaptyv, GEM 등)에서 온 이질적 후보 풀을 병합함으로써 발생할 수 있는 분포 편향이나 label noise에 대한 심층 분석 부족
• 후속 연구로는 더 많은 target과 다양한 binder design 파이프라인에 대한 대규모 검증, LLM policy의 안정성 및 비용 효율성 개선, 실제 wet-lab 검증과의 연계 검증이 필요

Evaluation

총평: 단백질 binder 설계 파이프라인의 실질적 병목인 shortlisting 문제에 LLM 기반 해석 가능 정책 생성이라는 참신한 응용을 제시했으나, held-out target 수가 적고 성능 향상 폭이 제한적이어서 워크숍 수준의 초기 탐색 연구로 평가된다.