Can ai agents design and implement drug discovery pipelines? arXiv preprint arXiv:2504.19912, 2025.

Motivation

• Known: AI 에이전트 기반 시스템이 프로그래밍 과제와 과학 연구에서 높은 성능을 보이고 있으며, DynaSaur, The AI Scientist, ResearchAgent 등 다양한 agentic LLM 프레임워크가 복잡한 과학 과제 자동화에 성공하고 있다는 점은 알려져 있다. 그러나 기존 약물 발견 벤치마크들은 isolated predictive task에 초점을 맞추고 있어 에이전트의 독립적인 의사결정 능력과 자율 실행 능력을 평가하지 못하고 있다.
• Gap: 약물 발견의 복잡한 문제 해결을 위해 필요한 전략적 계획, 자원 할당, 다중 목표 균형 등을 종합적으로 평가하는 벤치마크가 부족하다. 기존 agentic 시스템 벤치마크들은 소프트웨어 엔지니어링이나 일반적인 과학 연구에 초점을 맞추고 있어 약물 발견의 특수한 맥락과 제약 조건을 충분히 반영하지 못한다.
• Why: AI 에이전트의 약물 발견 파이프라인 설계 및 구현 능력을 평가하는 것은 자율적인 AI 시스템이 과학 연구의 시간, 비용, 실패율을 획기적으로 감소시킬 수 있는 가능성을 검증하는 데 중요하다. 이는 AI-driven methodologies가 실제 약물 발견 문제에 얼마나 적용 가능한지 보여주는 첫 번째 종합적인 평가이다.
• Approach: 본 연구는 DO Challenge 벤치마크를 설계하여 100만 개 분자 구조 중 top 1000 구조를 식별하는 과제를 제시한다. 에이전트는 DO Score 값의 10%만 조회 가능하고 3번의 제출만 허용되는 자원 제약 환경에서 작동한다. 또한 Deep Thought라는 multi-agent 시스템을 개발하여 heterogeneous LLM 에이전트들이 협력하면서 문헌 검토, 코드 개발, 실행을 수행하도록 설계했다. DO Challenge 2025 경진대회 결과와 전문가 솔루션과의 비교 평가를 통해 성능을 검증한다.

Achievement

Figure 3. The runtime and total LLM token usage during the different runs of the Deep Thought agentic

• DO Challenge 벤치마크 개발: 약물 발견의 복잡한 특성을 반영한 최초의 종합적 에이전트 평가 벤치마크 제시
• Deep Thought 시스템 개발: 시간 제약 환경에서 33.5% 겹침률 달성 (top human expert 33.6% 거의 동등)
• 광범위한 비교 평가: 20개 참여 팀, 전문가 솔루션과의 체계적 비교 (최고 성능 팀 16.4%, 전문가 77.8%)
• LLM 역할별 평가: Claude 3.7 Sonnet, Gemini 2.5 Pro, o3이 주요 에이전트 역할에 우수, GPT-4o, Gemini 2.0 Flash는 보조 역할에 효과적임을 확인
• 오픈소스 공개: 벤치마크(Zenodo) 및 소스코드(GitHub) 공개로 연구 커뮤니티 기여

How

Figure 2. The components of the Deep Thought agentic system. The optional agents are colored gray. The arrows

• DO Challenge 벤치마크 설계: 100만 분자 구조에서 top 1000 식별하는 virtual screening 기반 과제로 전략적 의사결정, 모델 선택, 자원 관리를 동시에 요구
• Deep Thought multi-agent 시스템 구축: 이질적인 LLM 기반 에이전트들의 협력 구조로 literature review, code development, execution 자동화
• 제약 조건 설정: DO Score 값 10% 조회 제한, 3회 제출 제한으로 현실적 자원 제약 시뮬레이션
• 시간 제약 설정: 10시간 개발/제출 시나리오와 무제한 시나리오로 구분하여 다양한 조건에서 평가
• 에이전트 역할별 LLM 체계적 평가: 주요 에이전트, 보조 에이전트, 특정 작업별로 다양한 LLM 성능 비교
• 광범위한 비교 분석: 경진대회 참여팀 솔루션, 전문가 설계 솔루션, 에이전트 시스템의 성능 및 전략 비교

Originality

• 최초 종합 벤치마크: 약물 발견의 자율 에이전트 능력을 평가하는 최초의 통합 벤치마크로 기존 isolated task 평가와 구별됨
• 자원 제약 실제성: virtual screening의 실제 제약 조건(제한된 실험 기회, 높은 비용)을 100만 분자 데이터셋에서 10% 조회와 3회 제출로 충실하게 모델링
• multi-agent 협력 설계: heterogeneous LLM 에이전트의 협력 구조로 분산된 의사결정 문제 해결 접근
• 경진대회 기반 평가: 실제 문제 해결자들의 다양한 전략(active learning, attention-based models, iterative submission)을 수집하여 AI 성능 벤치마킹

Limitation & Further Study

• 성능 격차: 시간 무제한 조건에서 AI 에이전트(33.5%)가 전문가(77.8%)보다 크게 낮은 성능, 실용적 약물 발견 적용에는 여전히 부족
• 높은 불안정성: 논문에서 "high instability" 언급으로 에이전트 결과의 재현성과 신뢰성 문제 가시화
• 단일 문제 기반 평가: DO Challenge가 virtual screening의 단일 관점만 평가하여 약물 발견의 다른 중요 단계(target identification, ADME prediction, toxicity assessment) 미포함
• 후속연구: active learning, dynamic model selection, resource optimization 등 더 정교한 전략 개발 필요
• 데이터셋 특수성: 100만 분자 단일 데이터셋에서의 성능이 다양한 화학 공간과 약물 특성에 일반화 가능한지 불명확

Evaluation

총평: 본 논문은 약물 발견에서 AI 에이전트의 종합적 능력을 평가하는 첫 번째 벤치마크를 제시하고 competitive deep thought agentic system을 구현하여 의미 있는 기여를 한다. 다만 시간 무제한 조건에서의 현저한 성능 격차, 높은 불안정성, 단일 문제 기반 평가의 한계가 실무 적용 가능성을 제한한다. 그럼에도 불구하고 이 연구는 agentic AI의 과학 응용 가능성을 구체적으로 보여주는 선도적 작업이다.