On improving experimental binding affinity predictions with synthetic data

Motivation

• Known: 딥러닝 기반 결합 친화도 예측 모델은 충분한 실험 데이터가 필수이며, GNN과 CNN을 활용한 구조 기반 접근법이 최근 주목받고 있다. 그러나 고품질 구조 데이터 부족과 합성 데이터의 효과적인 활용 방법이 여전히 불명확하다.
• Gap: 구조 기반 딥러닝 모델이 합성 구조 데이터를 활용할 때 최적의 방법론이 명확하지 않으며, 단순히 합성 데이터를 추가하는 것이 항상 성능 개선으로 이어지지 않는다는 최근 연구 결과가 있다. 또한 언어 기반 모델과 구조 기반 모델의 체계적 비교가 제한적이다.
• Why: 결합 친화도 예측은 약물 발견의 핵심이며, 고품질 실험 데이터는 매우 제한적이다. 합성 데이터를 효과적으로 활용할 수 있다면 신약 후보 물질 스크리닝의 효율성을 크게 향상시킬 수 있으므로 실질적 가치가 높다.
• Approach: proteochemometric (PCM) 모델에 물리 기반 특성(docking score, AFEP)을 추가하여 성능 개선을 검토하고, structure-based AEVPLIG 모델을 여러 confidence threshold로 필터링된 데이터로 학습한 후 공개 벤치마크에서 평가한다. SAIR-OOD 데이터 분할을 통해 데이터 누수를 방지하면서 합성 및 실험 데이터의 동시 학습 효과를 측정한다.

Achievement

Figure 1. Overview of the work presented. a) The construction of the SAIR-FEP dataset, which includes computed docking a

PCM 모델 성능 개선: physics-informed descriptor 추가로 예측 정확도 향상. 구조 기반 모델의 품질 의존성: confidence score 필터링으로 모델 성능이 예측 가능하게 개선됨을 입증. 합성-실험 데이터 결합 학습: SAIR-OOD 분할을 사용한 동시 학습으로 공개 벤치마크(CASF 2016, AEVPLIG-OOD)에서 성능 향상 달성. 체계적 비교: PCM과 structure-based 모델의 상대적 강점 및 약점을 명확히 제시하는 포괄적 벤치마킹 수행.

How

Figure 1. Overview of the work presented. a) The construction of the SAIR-FEP dataset, which includes computed docking a

• SAIR-FEP 데이터셋: 약 80K 복합체에 대한 AFEP 계산 및 docking score 통합
• 데이터 분할: hit identification (SAIR-FEP-HID)과 lead optimization (SAIR-FEP-OPT) 시나리오별 분할
• Confidence filtering: co-folding 신뢰도 점수를 사용하여 고품질 복합체 선별(80%, 85%, 90%, 95% threshold)
• SAIR-OOD 구성: 공개 벤치마크와의 단백질/리간드 유사성 기준으로 데이터 누수 제거
• PCM 모델: sequence/SMILES 입력에 docking score와 AFEP descriptor 결합
• AEVPLIG 모델: GatV2Conv 기반 그래프 신경망에 source embedding 추가하여 합성/실험 데이터 동시 학습
• 평가: Pearson 상관계수, Spearman 상관계수, RMSE 등 다중 지표로 성능 측정

Originality

• SAIR-FEP 데이터셋 확장: 기존 SAIR에 대규모 AFEP 계산을 추가하여 학문적 자산 강화
• SAIR-OOD 분할 방식: 프로토콜 기반 데이터 누수 방지 메커니즘으로 현실적 평가 환경 구축
• Source embedding 도입: 단일 AEVPLIG 모델에서 합성과 실험 데이터를 구별하여 처리하는 아키텍처 혁신
• 체계적 confidence threshold 분석: 구조 품질이 딥러닝 모델 성능에 미치는 영향을 정량적으로 규명

Limitation & Further Study

• 고품질 구조의 정의와 confidence threshold 값의 선택이 데이터셋 특성에 의존적이며 다른 단백질-리간드 쌍에 일반화되는지 불명확
• PCM 모델과 구조 기반 모델 간의 성능 차이 원인이 데이터 부족 대 정보 표현의 한계인지 명확히 구분되지 않음
• AFEP 계산의 정확도나 신뢰성에 대한 충분한 검증 부족; 합성 데이터 자체의 오류가 모델 성능에 미치는 영향 분석 미흡
• SAIR-OOD 분할의 엄격성(단백질/리간드 유사성 threshold)이 모델 성능에 미치는 민감도 분석 부재
• 후속 연구: 다른 단백질 클래스 및 바인딩 파트너에 대한 일반화 능력 검증; confidence threshold의 자동화된 최적화 방법론 개발; 합성 데이터의 오류가 모델 학습에 미치는 영향 분석

Evaluation

총평: 본 논문은 합성 데이터(AFEP 계산)를 체계적으로 활용하여 결합 친화도 예측 모델의 성능을 개선하는 명확한 전략을 제시한다. SAIR-FEP/OOD 데이터셋, confidence-based filtering, source embedding 도입 등 여러 혁신적 기법과 포괄적인 벤치마킹을 통해 신약 개발에 실질적 가치를 제공하는 우수한 연구이다. 다만 일반화 가능성과 합성 데이터 품질에 대한 심화 분석이 보완된다면 더욱 강력할 것이다.