DeepRoot: A KG-Coordinated Multi-Agent System for Therapeutic Reasoning over Historical Medical Texts

Motivation

• Known: 천연물(natural products)은 여전히 신약 개발의 주요 원천이며, 전통 의학 문헌으로부터 아르테미시닌 같은 약물이 발굴된 사례가 있다. 기존 ML/DL/LLM 접근은 역사적 의학 텍스트를 순수 분류 문제로 다루거나, multi-agent LLM 시스템이 공유 KG를 활용하더라도 정성적 평가에 그쳐 KG와 agent decomposition을 ablation하지 않았다.
• Gap: pre-ontological한 산문체와 특이한 분류체계(taxonomy) 때문에 역사 의학 텍스트를 현대 생물의학 파이프라인에서 표준화·활용하기 어렵고, tool-calling, retrieval-augmented, agentic deep-research를 막론한 기존 LLM agent 시스템 중 이러한 텍스트를 대규모로 검증 가능한 신약 발굴 후보로 변환할 수 있는 시스템이 없었다.
• Why: 역사 의학 문헌과 전통 의학 지식을 체계적으로 마이닝하고 재목적화(repurposing)할 수 있는 경로를 제시함으로써, 신약 발굴(drug discovery) 파이프라인에 검증 가능하고 환각(hallucination)이 적은 근거 기반 추론을 도입할 수 있다는 점에서 중요하다.
• Approach: DeepRoot는 Assembly 단계에서 7개의 전문화된 agent가 LLM canonicalization과 큐레이션된 생물의학 데이터베이스에 대한 엄격한 검증을 결합해 Neo4j 기반 knowledge graph를 agentic하게 구축하고, Discovery 단계에서 critic 및 discovery agent가 Cypher walk를 통한 subgraph traversal로 치료적 주장(therapeutic claims)을 평가하고 잠재 치료제를 식별한다.

Achievement

1. KG 구조 의존성 검증: 그래프 edge를 점진적으로 shuffle하는 ablation 실험에서 critic agent의 자기신뢰도(self-confidence)가 perturbation 증가에 따라 감소하며 raw LLM baseline 수준으로 수렴함으로써, DeepRoot Discovery가 실제로 KG 구조에 의존함을 입증했다.
2. 메커니즘 기반 후보 회수 성능 향상: 30개의 mini-corpora에 대해 DeepRoot Discovery가 LLM baseline 대비 source recall@3에서 1.95배, compound recall@10에서 6.11배 높은 성능을 보였다.
3. held-out 치료 쌍 blind 재발견: 21개의 held-out compound-disease treatment pair 중 10개를 R@20=47.6%로 복원했으며, 이는 raw-corpus LLM(4.8%)과 random(~2.4%) 대비 크게 우수하다.
4. 환각(hallucination) 감소: tool-using LLM은 claim의 87%에서 근거를 환각(hallucinate)한 반면, DeepRoot는 7-10%에 그쳤고, graph-only inference는 0% 환각이지만 추론 일관성에서는 최하위였으며, DeepRoot KG+LLM만이 환각 억제와 추론 일관성 양쪽 모두에서 우수한 유일한 조건이었다.

How

• Shen Nong Ben Cao Jing 코퍼스를 71개 chunk로 분할하고 COCONUT2.0, PubChem, ChEMBL, Open Targets, NCBI Taxonomy, OLS4, ICD-10/MeSH/SNOMED/MONDO/DOID 등 외부 큐레이션 데이터베이스에 모든 개체를 grounding
• 6개 node type(Source, Malady, Modern Disease, Chemical Compound, Biological Target, Preparation Method)과 7개 edge type으로 구성된 KG schema를 설계하고, mechanistic loop(Source→Malady→Modern Disease, Source→Compound→Target→Modern Disease)가 닫힐 때 치료적 주장을 검증 가능하다고 정의
• Assembly 단계: Extraction Agent, Extraction Auditor, Malady Disease Mapper, Source Compound Mapper, Compound Target Linker, Target Disease Linker, Reviewer Agent 등 7개 agent가 의존성 순서대로 그래프를 구축하며, generate-then-verify 프로토콜(LLM이 이름 제안 후 tolerant exact match로 ontology code 회수)로 환각된 식별자를 배제
• Discovery 단계: Critic Agent와 Validator Agent가 Neo4j Cypher walk를 통해 subgraph traversal을 수행하여 치료적 주장을 평가하고 후보를 랭킹
• edge perturbation(shuffle) ablation, mini-corpus 기반 recall 평가, held-out KNOWN TREATS edge 삭제 후 blind rediscovery 평가, LLM-as-judge 기반 환각 및 추론 품질 audit 등 다각도 실험 설계

Originality

• grounding(사실적 근거)과 reasoning(추론)을 별개의 축으로 명시적으로 분리하여, 이를 조합 가능한 시스템 설계 원칙으로 제시한 점이 독창적
• 기존 OpenTCM 등 Graph-RAG 접근이 전문가 감수와 순수 LLM 생성 출력에 의존한 것과 달리, 7개 전문화 agent가 큐레이션된 생물의학 데이터베이스에 대한 엄격한 검증(strict verification)을 통해 완전히 agentic한 KG 구축을 수행
• historical clinical text처럼 깨끗한 ontological anchor가 없고 discovery ground truth가 희소한 regime을 명시적으로 타겟팅하여 정량적 ablation(edge perturbation, held-out recovery)을 수행한 최초의 시도로 보임
• InChIKey, ChEMBL ID 기반 entity identity 통합으로 서로 다른 경로에서 유입된 동일 개체를 하나의 노드로 collapse시키는 설계

Limitation & Further Study

• 평가가 Shen Nong Ben Cao Jing이라는 단일 코퍼스와 21개의 held-out pair라는 비교적 작은 샘플에 국한되어, 일반화 가능성 및 통계적 유의성 검증이 제한적
• compound recall@10, source recall@3 등에서 완벽한 회수(perfect recovery)에 미치지 못한 이유로 inference task로의 framing 문제와 불완전한 subgraph traversal을 지목했으나, 이를 근본적으로 해결하는 방법론적 개선은 제시되지 않음
• LLM-as-judge 기반 평가 및 self-confidence 지표에 의존하는데, 이 judge 자체의 신뢰성과 편향 가능성에 대한 별도 검증이 부족
• 여러 전통 의학 문헌(예: 다른 언어권, 다른 시대의 문헌)으로의 확장성, 그리고 실제 임상 검증(wet-lab validation)으로 이어지는 후속 연구가 필요

Evaluation

총평: 역사 의학 문헌을 검증 가능한 신약 발굴 리드로 변환하는 실용적이고 정량적으로 검증된 multi-agent KG 시스템을 제시하며, grounding과 reasoning의 분리라는 개념적 기여와 함께 환각 억제 효과를 명확히 보여준 의미 있는 연구이나, 단일 코퍼스와 소규모 held-out 세트에 기반한 초기 단계의 검증이라는 한계가 있다.