Human-supervised Agentic AI for Hypothesis Generation and Experimental Assistance in Drug Repurposing

Motivation

• Known: 기존 약물 재창출 접근법은 knowledge graph, ML/DL 기반 관계 예측, LLM을 활용한 문헌 마이닝 등 여러 기술을 사용해왔으나, 이들은 단편적이고 서로 연결되지 않은 컴포넌트들로 구성되어 있으며 인간 과학자가 통합, 오류 처리, 반복적 추론의 부담을 져야 했다.
• Gap: 기존 계산 약물학 접근법은 가설 생성에 집중했으나, 실제 약물 재창출은 약물 후보 제안, 실험 설계, 결과 분석, 반복적 개선을 포함한 전체 생명주기를 필요로 한다. 또한 이질적인 데이터와 도구를 통합하고 실시간 실험 피드백에 반응하는 통합적 워크플로우가 부족했다.
• Why: 약물 재창출은 약물 메커니즘, 생물학적 타겟, 질병 병리생리학을 연결하여 광대한 근거 지형을 탐색해야 하며, 승인된 약물과 특성화된 질병 수가 증가함에 따라 수동 탐색이 불가능해져 자동화된 통합 시스템이 필수적이다.
• Approach: RepurAgent는 ReAct 패턴을 활용한 멀티 에이전트 아키텍처를 구현한다. 플래너 에이전트가 인간 검토 가능한 구조화된 워크플로우를 생성하고, 승인 후 슈퍼바이저 에이전트가 4개 전문 서브 에이전트(research, prediction, data, report)의 작업을 조율한다. research agent는 KGG, RepurposeDrugs, Chemical Annotator를 통해 실시간 생물의학 지식을 검색하고, prediction agent는 conformal prediction 모델로 ADMET 특성을 예측하며, data agent는 Python 코드를 생성·실행하여 실험 데이터를 분석하고, report agent가 결과를 종합한다. 시스템은 working memory, short-term memory, long-term episodic memory로 구성된 3계층 메모리 아키텍처와 SOP 기반 RAG를 지원한다.

Achievement

Figure 3. Benchmarking RepurAgent against vanilla LLMs and Google Co-Scientist in the AML case study. (a)

Acute Myeloid Leukemia: Google Co-Scientist가 식별한 질병 관련 경로의 최대 97% 회복, 60분 내 워크플로우 완료. COVID-19 항바이러스 스크린: AUC-ROC 0.98까지 화합물 우선순위 지정, 사전 임계값 없이 수동 검토에서 놓친 교란인자 탐지. Multiple Sulfatase Deficiency: 5000개 화합물 중 82개 고신뢰도 후보 우선순위 지정, 도메인 전문가 검증.

How

Figure 2. Ablation study for the planning agent. (a) Bar chart showing the mean quality score for each evaluated

• ReAct 패턴으로 LLM을 구조화된 도구·메모리와 연결하여 다단계 계획·실행 지원
• Knowledge graph generator로 실시간 질병-특이적 지식그래프 구축 (정적 스냅샷이 아닌 실시간 API 호출)
• RepurposeDrugs와 Chemical Annotator를 통합하여 ChEMBL, PubChem, UniChem, KEGG의 이질적 데이터 통합
• Conformal prediction 기반 ADMET 예측으로 예측 불확실성 정량화
• Python 코드 생성·실행을 통한 자동 데이터 분석 및 시각화
• REMEDi4ALL 컨소시엄 표준 운영절차(SOP) 기반 RAG로 도메인 그라운딩
• 계층적 메모리 구조(working/short-term/episodic)로 세션 간 연속성 지원
• 인간인더루프 설계로 플래닝 단계에서 과학자의 검토·수정 가능

Originality

• 약물 재창출 전 생명주기를 아우르는 최초의 agentic AI 시스템 (기존 ChemCrow, CellAtria, DeepRare 등은 개별 도메인에 제한)
• 실시간 KG 구축과 static KG의 한계 극복 (Hetionet 2016, DRKG 2020, OREGANO 2023 이상 업데이트 필요)
• 인간인더루프 기반 hierarchical multi-agent 설계로 자율성과 통제성 균형
• 도메인 전문 도구(KGG, RepurposeDrugs, Chemical Annotator)의 통합 및 SOP 기반 RAG
• 실험 데이터 분석, 교란인자 탐지, 반복적 후보 개선을 포함한 실험 협력자 역할 확대

Limitation & Further Study

• 세 가지 검증 사례가 제한적이며, 대규모 임상 시험 데이터나 장기 임상 추적 결과 부재
• Conformal prediction 모델의 성능이 훈련 데이터 품질과 다양성에 의존하며, rare disease나 새로운 약물에 대한 예측 신뢰도 평가 필요
• LLM의 hallucination이나 추론 오류에 대한 상세 분석 및 실패 사례 제시 부족
• 인간인더루프 설계로 인한 초기 계획 승인 과정의 효율성과 과학자 개입 빈도에 대한 정량적 분석 부재
• REMEDi4ALL 컨소시엄 내 도구와 SOP에 의존하므로 다른 기관이나 맥락에서의 일반화 가능성 미확인
• 후속 연구로 더 많은 질병 사례, 임상 결과 검증, 다기관 공동 적용 평가 필요

Evaluation

총평: RepurAgent는 약물 재창출의 전 생명주기를 지원하는 최초의 통합 agentic AI 시스템으로, 실시간 KG 구축, 멀티 에이전트 조율, 인간인더루프 설계를 통해 기존 단편적 접근법의 한계를 실질적으로 극복한다. 세 가지 임상 사례에서 경로 회복율 97%, AUC-ROC 0.98, 5000개 중 82개 고신뢰도 후보 우선순위 등 강력한 성과를 입증했으나, 장기 임상 결과 검증과 다기관 일반화 가능성 평가가 후속 필요하다. 오픈소스 배포와 실제 운영 시스템 구축은 약물 재창출 연구 커뮤니티에 상당한 임상적·방법론적 기여 가능성을 보여준다.