On the Reliability of AI Methods in Drug Discovery: Evaluation of Boltz-2 for Structure and Binding Affinity Prediction

Motivation

Known: AlphaFold 2 이후 AI 기반 약물 발견 도구들이 급속도로 개발되었으며, Boltz-2는 구조 예측과 결합친화도 예측을 통합한 혁신적 모델로 부상했다. 그러나 AI 예측의 신뢰성과 실험 결과로의 전환 가능성에 대한 의문이 지속되고 있다.
Gap: Boltz-2의 성능이 대규모 타겟-특정 화학 라이브러리에서 어떻게 나타나는지, 그리고 물리 기반 벤치마크인 ESMACS와 정량적으로 비교했을 때 어떠한 수준인지에 대한 체계적 평가가 부족했다.
Why: 약물 발견에서 결합친화도의 정확한 예측은 리드 식별 및 최적화의 핵심이며, AI 모델이 고속 스크리닝 대안으로서 신뢰할 수 있는지 판단하기 위해서는 엄격한 벤치마킹이 필수적이다.
Approach: 3CLPro(16,780 화합물)와 TNKS2(21,702 화합물) 두 개의 치료 표적에 대해 Boltz-2의 구조 예측을 전통적 docking과 비교하고, 결합친화도 예측을 ESMACS 프로토콜 기반 결합 자유 에너지와 벤치마킹했다.

Fig. 4 Correlation between binding free energies predicted by Boltz-2 (∆GBoltz) and calculated via

구조 예측 분석: Boltz-2는 전역 RMSD 변동이 크게 나타나 단일 수렴된 포즈가 아닌 다중 단백질 conformation과 리간드 결합 위치를 예측함을 규명
전역 상관관계 평가: 대규모 데이터셋 전체에서 Boltz-2 예측과 ESMACS 결합 자유 에너지 간 약한 ~ 중간 정도의 상관관계만 관찰
상위 100 화합물 분석: 리드 식별에 필수적인 상위 화합물들에서 Boltz-2 예측과 ESMACS 간 유의미한 상관관계 부재 및 리간드 구조 포화 차이 발견
속도-정밀도 트레이드오프 명확화: Boltz-2는 초기 스크리닝 속도는 우수하나 리드 식별에 필요한 에너지 해상도 부족 확인

Fig. 3 The distribution of confidence scores from the Boltz-2 predictions of both 3CLPro and TNKS2

두 개의 치료 표적(SARS-CoV-2 main protease 3CLPro, tankyrase 2 TNKS2)과 총 38,482개 화합물의 대규모 데이터셋 구성
Boltz-2 예측 구조를 Root Mean Square Deviation(RMSD)과 Local Distance Difference Test(LDDT)를 통해 traditional docking 결과와 비교
Boltz-2 결합친화도 예측을 ensemble 기반 ESMACS 프로토콜에서 도출한 결합 자유 에너지와 벤치마킹
전역 데이터셋 분석과 상위 100 화합물에 대한 세분화된 분석을 병렬로 수행하여 스크리닝 성능과 리드 식별 성능 구분 평가
Boltz-2의 신뢰도 점수(confidence scores) 분포를 분석하여 예측 불확실성 정량화

첫 대규모 타겟-특정 평가: Boltz-2를 단순 binary classification이 아닌 정량적 affinity ranking 관점에서 처음으로 체계적 평가
물리 기반 벤치마크 활용: MMPBSA나 single-trajectory 방식이 아닌 ensemble 기반 ESMACS 프로토콜을 사용하여 통계적 불확실성 정량화가 가능한 엄격한 기준 설정
구조적·에너지적 이중 분석: 예측된 pose의 기하학적 신뢰성과 에너지 예측 정확성을 함께 평가하여 다차원적 성능 진단
실무적 관점의 평가: 전역 상관관계뿐만 아니라 실제 약물 발견에서 의사결정에 사용되는 상위 후보들의 순위 정확성을 별도로 검토

두 개의 타겟만 평가: 3CLPro와 TNKS2만 대상으로 하여 다양한 단백질 클래스와 binding mode에 대한 일반화 가능성 제한
Boltz-2 버전 특정성: 평가 시점의 특정 모델 버전에만 해당하며 향후 업데이트된 버전의 성능 변화 미추적
구조 검증의 한계: Traditional docking 결과와의 비교만 수행하였으며 실험적 결정 구조(crystal structure) 기반 검증 부재
후속 연구 방향: (1) 더 다양한 단백질 표적 및 화학적 스캐폴드에 대한 평가 확대, (2) Boltz-2 예측 불확실성을 명시적으로 활용한 앙상블 docking 방법론 개발, (3) 물리 기반 방법과 AI 예측을 결합한 하이브리드 파이프라인 개발