Predicting Activity Cliffs for Autonomous Medicinal Chemistry

Motivation

• Known: Activity cliff는 분자 구조의 작은 변화가 생물학적 활성의 큰 변화를 초래하는 현상으로 오래전부터 알려져 있으며, MMP(Matched Molecular Pair) 분석은 구조-활성 관계(SAR) 분석의 표준 도구이다.
• Gap: 기존 activity cliff 예측 모델들은 분포 외(out-of-distribution) 성능이 심각하게 저하되고, raw sensitivity는 위치의 취약성과 수정 크기를 혼동하여 실제 activity cliff를 식별하는 데 실패한다.
• Why: 약물 발견 캠페인은 합성할 수 있는 화합물의 수가 아니라 어떤 화합물을 만들지에 의해 제한되므로, 정보 가치가 높은 위치를 사전에 식별하면 초기 실험의 횟수를 31% 감소시켜 탐색 효율을 크게 향상시킬 수 있다.
• Approach: SALI normalization으로 구조 변화 크기를 정규화하여 진정한 activity cliff를 구분하고, 11개의 3D pharmacophore context 특성을 포함한 HistGradientBoosting 모델을 학습하여 대상-무관(target-agnostic) 방식으로 일반화했다.

Achievement

Figure 1: Raw vs. SALI-normalized position sensitivity across six protein families and model ablations. Top row (raw sen

• Raw vs. SALI 민감도의 근본적 차이 규명: Raw sensitivity에서는 scaffold size 역수 휴리스틱이 NDCG@3 = 0.966으로 최고 성능을 보이지만, SALI normalization 하에서는 0.791로 떨어지는 반면 11-feature 모델은 0.910을 달성하여 SALI가 필수적임을 입증
• 다양한 분포 외 조건에서의 강건한 일반화: 6개 단백질 패밀리 전체(NDCG@3 = 0.910), 미학습 scaffold(0.913), 시간 분할(0.878)에서 일관되게 성능 유지
• 2배 향상된 탐색 효율: 화학자가 탐색해야 할 위치를 3.1개에서 2.1개로 31% 감소시키고, 가장 민감한 위치를 53% 확률로 첫 번째로 식별(무작위 27% 대비)
• 정직한 음의 결과 보고: 수정 유형 예측은 구조 정보 만으로 불가능함(Spearman ρ = 0.268, 미학습 scaffold에서 −0.31)을 명확히 제시
• 오픈소스 시스템 배포: SMILES 입력 하나로 합성 가능한 화합물 추천을 수행하는 웹앱 및 오픈소스 도구 공개

How

Figure 3: Complete pipeline from input SMILES to synthesizable compound recommendations. The SALI-normalized sensitivity

• ChEMBL 36 (2024)에서 Hussain-Rea 알고리즘을 사용하여 50개 대상 6개 단백질 패밀리에 걸쳐 2,500만 개의 single-cut MMP 추출
• 각 치환 위치에 대해 raw sensitivity와 SALI normalized sensitivity 계산: mean |ΔpActivity| / (max(R-group heavies) + 1)
• 11개 특성(2개 토폴로지 + 9개 3D pharmacophore context, 부착점 4Å 내)으로 구성된 특성 아키텍처 설계
• HistGradientBoosting regression을 leave-one-target-out 교차 검증으로 학습
• 11가지 분포 외 스트레스 테스트 수행: temporal holdout, novel scaffold holdout(상위 20% 구조적으로 상이한 scaffold 제외), 외부 데이터셋 검증(COVID Moonshot, Open Force Field, Schrödinger FEP)
• 특성 절제(ablation), 대상 패밀리 holdout, conformer 민감도, 학습 곡선, 방향성 분석, permutation 테스트(1,000회 label shuffle), 보정, 하이퍼파라미터 민감도(50개 무작위 구성) 포함한 추가 OOD 실험
• Paired Wilcoxon signed-rank 통계 검정, bootstrap 95% 신뢰 구간(10,000 resample), Cohen's d 효과 크기 계산

Originality

• 최대 규모 체계적 검증: 25M MMP, 50개 대상으로 position-level activity cliff 예측의 가장 큰 규모 검증 수행
• SALI normalization의 중요성 재조명: Raw sensitivity와 SALI normalization 하에서 방법 순위가 역전되는 현상을 대규모로 입증하여 선행 연구의 과장된 성능 주장에 대한 경고
• Target-agnostic 약물 구조 인코딩: 대상 이름 대신 3D pharmacophore local context로 인코딩하여 6개 단백질 패밀리, 미학습 scaffold, 시간 분할에 걸쳐 일반화
• 정보 누설(information leakage) 체계적 대응: 11가지 OOD 스트레스 테스트로 화학 분야의 보편적 위험인 scaffold/series 교차 오염 문제를 직접 해결
• 음의 결과의 투명한 보고: 수정 유형 예측 불가능성을 솔직하게 제시하여 모델의 한계와 실제 용도를 명확화

Limitation & Further Study

• 수정 유형 예측 불가능: 특정 위치에서 어떤 유형의 수정을 할지는 구조 정보 만으로 예측 불가(Spearman ρ = 0.268)하므로, 위치 식별 후 추가 휴리스틱 또는 합성 가능성 필터 필요
• ChEMBL 데이터 바이어스: 공개 약물 발견 데이터베이스의 내재적 바이어스(예: 성공한 화합물 과다 표현, 특정 화학 공간 편향)가 결과에 영향을 미칠 수 있음
• 단일-컷 MMP 제한: 연구에서 single-cut MMP만 사용하여 다중 위치 동시 수정이 필요한 경우 정보 손실 가능
• 3D 구조 의존성: 4Å 내 pharmacophore context 특성이 정확한 3D 구조(conformer) 정보에 의존하므로, 예측 신뢰도가 구조 계산 정확도에 영향을 받을 수 있음
• 후속 연구 방향: (1) 수정 유형 예측을 위한 생성 모델(generative model) 또는 inverse-QSAR 접근법 탐색, (2) 활성 데이터 가용 시 active learning과의 통합, (3) 합성 가능성 제약을 명시적으로 모델링하는 시스템 개발, (4) 독자적인 사내 데이터셋에서의 외부 검증

Evaluation

총평: 이 논문은 2,500만 개 분자 쌍으로 대규모 검증한 첫 position-level activity cliff 예측 시스템을 제시하며, SALI normalization의 필수성을 입증하고 target-agnostic 3D context 인코딩으로 뛰어난 일반화를 달성했다. 정보 누설에 대한 체계적 대응, 음의 결과의 투명한 보고, 실제 배포 가능한 도구 제공으로 약물 발견 자동화의 실질적 진전을 이루었다.