Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

Motivation

• Known: DEL 기술은 초대규모 분자 스크리닝을 가능하게 하는 약물 발견 도구로 널리 알려져 있으며, ML 모델을 DEL 데이터에 학습시켜 비-DEL 화합물로 외삽하는 시도가 이루어지고 있다. 다만 OOD 일반화의 어려움이 인식되어 있다.
• Gap: DEL 데이터 기반 ML 모델의 OOD 일반화 실패 원인과 메커니즘이 충분히 분석되지 않았으며, physics-based 방법(docking, co-folding)이 이 문제를 해결할 수 있는지 체계적으로 검증되지 않았다.
• Why: DEL은 약물 발견에서 중요한 스크리닝 기술이지만, 오프-DNA 합성의 어려움과 화학 다양성 제약이 있다. ML을 통한 외삽은 이를 극복할 수 있는 유망한 전략이나, 실제 임상 응용을 위해서는 신뢰할 수 있는 OOD 일반화 능력이 필수적이다.
• Approach: BELKA 데이터셋의 ~133M 분자-단백질 결합 레이블을 활용하여, 다양한 ML 아키텍처(random forests, GCNs, MLPs)와 분자 인코딩(ECFP4, MACCS, APDP fingerprints, 분자 그래프)을 비교. ID/ND/OOD 데이터 분할 전략의 영향을 분석하고, docking 및 co-folding 기반 구조 방법을 병렬 평가. 최종적으로 분석 결과와 워크플로우를 DEL-iver 오픈소스 패키지로 통합.

Achievement

Figure 4. Performance of structure-based methods on the OOD BELKA set and analysis of and training on physics-derived fe

• BELKA 경진대회 성과: 상위 10% 팀에 진입한 모델 개발 및 최고 성능 솔루션 분석
• OOD 일반화 한계 정량화: ID 분자 예측에서는 높은 성능(sEH AP 0.902)이나, OOD에서는 거의 무작위 수준(AP 0.001, AUROC 0.495) 달성
• 데이터 분할 전략의 영향 분석: ID/ND/OOD 분류 체계를 통해 화학 공간 거리와 모델 성능 간 명확한 상관관계 입증
• 구조 기반 방법의 보완성 평가: docking과 co-folding이 ligand-only ML을 보완할 수 있음을 실증적으로 확인
• 실용적 도구 개발: DEL-iver 패키지를 통해 재현 가능하고 일반화된 분석 파이프라인 제공

How

Figure 3: Performance of baseline ML model with modified train and test sets. A) Mean average precision of baseline mode

• ECFP4와 APDP 지문표현 결합으로 특성 표현력 강화
• Building block 2-3 간 가중치 공유를 통한 순열 불변성 인코딩
• 세 단백질 표적(sEH, BRD4, HSA)에 대한 독립적 평가로 target 의존성 검토
• 데이터 분할 전략(shared/unshared building block splits, scaffold 변화)과 모델 성능의 상세 비교
• Tanimoto 유사도 및 UMAP 시각화로 화학 공간 거리 정량화
• mAP, AP, AUROC 등 다중 분류 지표를 통한 포괄적 성능 평가

Originality

• DEL 데이터 기반 ML 일반화를 BELKA 규모 데이터셋에서 처음으로 체계적으로 평가
• ID/ND/OOD 분류 체계를 도입하여 화학 공간 이동의 단계적 영향 분석
• Building block 순열 불변성을 명시적으로 인코딩하는 아키텍처 설계
• Physics-informed ML (docking 특성 통합)과 순수 ML의 직접 비교
• DEL-iver 패키지라는 재현 가능한 오픈소스 도구 제공

Limitation & Further Study

• OOD 데이터 분포의 제한: BELKA 테스트 세트도 DEL 라이브러리 범위 내 데이터로, 진정한 약물 발견 화합물 집합과의 다양성 차이가 존재할 수 있음
• 단백질 표적의 제한성: 세 가지 표적(sEH, BRD4, HSA)만 평가되어 다른 단백질-리간드 상호작용 특성으로의 일반화 미정
• Docking 및 co-folding 방법의 성능이 ligand-only ML과 유사하거나 낮은 경우가 많아, 실제 적용 조건에서의 개선 가능성 불명확
• 이론적 메커니즘 부족: OOD 실패의 근본 원인(데이터 부족, 특성 공간의 본질적 한계, 모델 아키텍처 제약)에 대한 심층 분석 제한
• 후속 연구: (1) Transfer learning 및 domain adaptation 기법의 체계적 검증, (2) 다양한 신약 화합물 데이터와의 외부 검증, (3) Graph neural networks의 개선된 변형 탐색, (4) Ensemble 및 다중 표적 학습의 심화

Evaluation

총평: 이 논문은 대규모 공개 데이터(BELKA)를 활용하여 DEL 기반 ML 모델의 OOD 일반화 문제를 처음으로 체계적으로 규명한 중요한 연구이다. 단순한 벤치마킹을 넘어 여러 물리 기반 방법과의 비교를 통해 현실적인 통찰력을 제시하며, 실용적인 오픈소스 도구(DEL-iver)를 제공한다. 다만 OOD 실패 메커니즘에 대한 이론적 분석 심화와 외부 데이터셋 검증이 있으면 더욱 강력한 논문이 될 것이다.