SMDD-Bench: Can LLMs Solve Real-World Small Molecule Drug Design Tasks?

Motivation

• Known: 기존에는 LLM을 retrosynthesis 예측, 분자 설명, de novo 분자 생성, 물성 예측 등 단일턴 질의응답 형태의 벤치마크로 평가해왔다.
• Gap: 기존 평가 방법은 ad hoc하거나 실제 신약 발굴 복잡도에 비해 지나치게 단순하고, 규모가 제한적이거나 단일턴 QA에 국한되어 LLM 에이전트의 실제 3D 화학·생물학적 추론, 전문 도구 사용, 계획 능력을 제대로 측정하지 못한다.
• Why: 완전 자율 컴퓨테이셔널 신약 설계를 위한 LLM 에이전트 훈련 및 평가의 표준화된 테스트베드를 제공함으로써, 실제 의약화학자 수준의 복잡한 화학적·생물학적 추론과 도구 활용 능력을 갖춘 에이전트 개발을 촉진할 수 있다.
• Approach: witness-aware task generation 파이프라인을 통해 사람의 개입 없이 화학적으로 유효하고 반드시 해결 가능한 502개 과제 인스턴스를 절차적으로 생성하고, RDKit, PLIP, OpenBabel, Boltz2, ADMET-AI 등 전산 도구로 완전 자동 평가한다.

Achievement

1. SMDD-Bench 벤치마크 구축: 2D Pharmacophore Identification, Interaction Point Discovery, Scaffold Hopping, Lead Optimization, Fragment Assembly의 5개 과제 유형에 걸쳐 502개 과제 인스턴스와 102개 고유 단백질 타겟을 포함하는 대규모 멀티턴 에이전트 벤치마크를 제시했다.
2. witness-aware task generation 도입: 과제 생성과 동시에 해당 과제를 해결하는 witness 분자를 생성함으로써, 사람 개입 없이도 화학적으로 유효하고 해결 가능성이 보장된 과제 인스턴스를 대규모로 자동 생성하는 방법을 고안했다.
3. 완전 전산 평가 파이프라인 구현: RDKit, PLIP, OpenBabel, Boltz2, ADMET-AI 등의 전문 도구를 활용하여 human-in-the-loop 없이 각 과제 인스턴스를 정량적으로 평가할 수 있는 체계를 마련했다.
4. 7개 프론티어 LLM 벤치마킹: 최소한의 agent scaffold를 이용해 오픈소스 및 클로즈드소스 LLM 7종을 평가한 결과, 간단한 lead optimization 과제에서는 최대 50%의 성공률을 보였으나 더 어려운 과제 유형에서는 성공률이 거의 0%에 가까워 LLM의 자율 의약화학자로서의 성장 여지를 명확히 드러냈다.
5. SMDD-Bench Diversity 프레임워크 제안: SMDD-Bench의 부분집합과 함께 SMDD 에이전트 출력의 다양성을 연구하기 위한 원칙적인 프레임워크를 함께 제시했다.

How

• 5개 과제 유형(2D Pharmacophore Identification, Interaction Point Discovery, Scaffold Hopping, Lead Optimization, Fragment Assembly) 각각에 대해 ChEMBL 등 실제 데이터베이스로부터 단백질-리간드 복합체, 활성/비활성 분자 등을 샘플링
• witness-aware generation을 통해 Scaffold Hopping, Lead Optimization, Fragment Assembly 과제에서 최소 하나의 해가 보장되는 시작 분자와 witness 분자를 동시 생성
• Boltz2로 단백질-리간드 co-folded 구조 예측, 결합 친화도(binding affinity, log10(IC50 in µM) 형태), 결합 확률(binding probability)을 예측
• ADMET-AI 모델로 물성(ADMET) 예측, RDKit으로 분자 구조 유효성·유사도·필터(PAINS/Brenk/NIH) 검증
• 2D Pharmacophore Identification 과제는 hidden actives/inactives에 대한 recall과 specificity로 평가되는 python 함수를 생성하도록 요구
• 최소한의 agent scaffold를 사용해 7개 프론티어 LLM(오픈/클로즈드 소스)을 각 과제 유형에 대해 벤치마킹

Originality

• 단일턴 QA 위주였던 기존 화학/신약 LLM 벤치마크와 달리, 실제 의약화학 워크플로우를 반영한 멀티턴, 장기 호라이즌 에이전트 과제를 설계했다는 점에서 차별성이 있다.
• witness-aware task generation이라는 개념을 도입하여, 사람 개입 없이도 해결 가능성이 보장된 대규모 과제 인스턴스를 절차적으로 생성할 수 있는 새로운 방법론을 제시했다.
• Boltz2, ADMET-AI, RDKit, PLIP, OpenBabel 등 다수의 전문 cheminformatics/structural biology 도구를 통합한 완전 자동 평가 파이프라인을 구축했다.
• 5가지 상이한 과제 유형과 102개의 다양한 단백질 타겟을 아우름으로써 화학 공간과 생물학적 타겟의 다양성을 폭넓게 커버했다.

Limitation & Further Study

• 벤치마크가 전산 도구(Boltz2, ADMET-AI 등)의 예측 정확도에 의존하므로, 이러한 모델들의 예측 오차가 평가 신뢰도에 영향을 줄 수 있다.
• 사용된 agent scaffold가 "minimalist"라고 명시되어 있어, 더 정교한 planning이나 tool-use 전략을 적용했을 때 LLM의 실제 잠재력이 과소평가되었을 가능성이 있다.
• 발췌된 본문에서는 7개 LLM의 구체적인 실패 원인 분석이나 오라클 호출 횟수 제한이 성능에 미치는 영향에 대한 심층 분석이 충분히 제시되지 않아, 추후 상세한 오류 분석과 다양한 agent scaffold 비교 연구가 필요하다.
• 실제 실험적(wet-lab) 검증 없이 순수 전산 평가에만 의존하므로, 벤치마크 성능과 실제 신약 개발 성공 간의 상관관계에 대한 후속 검증이 요구된다.

Evaluation

총평: 실제 신약 설계 워크플로우를 반영한 대규모 멀티턴 에이전트 벤치마크를 제시하고 witness-aware task generation이라는 실용적 해법을 도입한 점에서 의미 있는 기여를 하며, LLM 에이전트의 자율 신약 설계 능력에 대한 현실적인 한계를 잘 드러낸 연구이다.