DrugAgent: Reliable Multi-Agent Aggregation under Conflicting Biomedical Evidence

Motivation

• Known: LLM 기반 multi-agent 시스템은 KG, RAG 등 외부 도구를 결합해 특화된 agent들이 협력하도록 하는 실용적 패러다임으로 자리 잡았으며, 이를 통해 과학적 문제에서 복수의 관점을 통합하려는 시도가 이루어지고 있다.
• Gap: 기존 multi-agent 파이프라인은 loosely coupled prompting이나 implicit consensus에 의존하여 서로 다른 출처의 증거가 충돌할 때 이를 명시적으로 조정할 원칙적인 메커니즘이 부재하다.
• Why: 생의학 분야는 ML 예측, KG 경로, 문헌(RAG) 증거처럼 이질적이고 때로 상충하는 정보원이 흔하므로, 이를 해석 가능하고 신뢰할 수 있게 통합하는 프레임워크는 임상적·연구적 의사결정의 신뢰성을 높이는 데 중요하다.
• Approach: DrugAgent는 Coordinator Agent가 ML Agent(DeepPurpose 기반 pKd 예측), KG Agent(DrugBank·CTD·BindingDB 통합 그래프에서의 multi-hop 경로 탐색), PubMed RAG Agent(문헌 검색)의 출력을 표준화된 JSON 스키마로 수집하고, Reasoning Agent가 구조화된 증거 요약과 규칙 우선순위 기반의 최종 결정을 분리하여 산출하는 2단계 아키텍처를 사용한다.

Achievement

Figure 2. Plausibility-based evaluation across model variants. (A) Distribution of LLM-as-a-judge plausibility outcomes

1. Faithfulness 검증: 179개 kinase, 54개 inhibitor를 포괄하는 900쌍의 kinase 벤치마크에서 DrugAgent의 출력이 제공된 증거에 충실하다고 판정된 비율이 98.7%(본문 상세 결과는 98.8%)로 매우 높게 나타났다.
2. Plausibility 분석: Weak, Moderate, Strong 모든 ground-truth 클래스에서 라벨 설명에 대해 plausibility 점수 3-4를 받은 비율이 각각 79%, 81%, 77%로 고르게 높았으며, Strong 케이스는 5점을 받을 확률(15%)이 Weak(1%)나 Moderate(3%)보다 뚜렷이 높았다.
3. Ablation을 통한 구성요소 기여도 규명: KG, ML, RAG 각 모듈을 제거하는 ablation 실험을 통해 각 증거 출처가 plausibility에 기여함을 확인했으며, 특히 RAG 제거 시 오히려 평균 plausibility 점수가 상승하는 역설적 현상을 발견해 '증거 근거 없는 그럴듯함'과 실제 정합성 간의 괴리를 드러냈다.
4. 벤치마크 구축: 생의학 영역에서 이질적 증거원에 대한 reasoning 및 agent 시스템의 해석 가능하고 충실한 rationale 생성 능력을 평가하기 위한 벤치마크를 제시했다.

How

Figure 1. Overview of DrugAgent.

• Coordination Layer: fast mode(모듈 독립 실행)와 Coordinator Agent 활성화 모드(작업 분해 및 실행 순서 오케스트레이션)의 두 가지 실행 모드를 지원하며, 모든 모듈 출력은 공통 JSON schema로 제약됨.
• ML Agent: DeepPurpose(BindingDB로 사전학습)를 이용해 SMILES와 단백질 서열로부터 연속적 pKd 값을 예측.
• KG Agent: DrugBank, CTD, BindingDB를 통합한 이종 drug-gene KG에서 breadth-first search(최대 깊이 H=5)로 multi-hop 경로를 탐색하고, S(P) = 1/|P| · λ^H(P) (λ=0.6, hub node degree>300 페널티)로 경로를 순위화.
• PubMed RAG Agent: PMC Open Access 문헌에 대해 drug-target pair, drug-only, target-only 3가지 질의로 각각 최대 10개 문서를 검색(text-embedding-3-large 임베딩 사용), 직접 co-mention이 희소한 문제를 완화.
• Reasoning Agent: (1단계) 각 증거원의 output을 evidence source, agent thoughts, proposed action, agent observations, 제안 라벨을 포함한 구조화된 JSON으로 변환하고 agreement/conflict/uncertainty를 요약; (2단계) 다수결 우선, tie-breaking, 그래도 불확실 시 제약된 LLM fallback 순의 규칙(rule priority order)으로 최종 라벨과 rationale을 산출.
• 평가: LLM-as-a-judge(LLMaJ)를 이용해 faithfulness(입력 근거성, 모순 여부, 근거 없는 주장, 정보 누락)와 biological plausibility(모순 부재, 기전적 일관성)를 1-5점 척도로 채점.

Originality

• ML, KG, RAG라는 이질적 증거원의 reasoning 과정과 최종 rule-guided decision을 명시적으로 분리한 구조로, 기존의 loosely coupled prompting이나 implicit consensus 방식과 차별화됨.
• 증거 간 agreement, conflict, uncertainty를 구조화된 JSON 형태로 명시적으로 표현하여 해석 가능성을 확보한 conflict-aware aggregation 설계.
• 경로 길이와 hub node penalty를 결합한 구조적 스코어링 함수(S(P))를 통한 KG multi-hop reasoning 방식.
• plausibility와 evidence-grounded correctness 간의 불일치(증거를 덜 검토할수록 오히려 plausibility 점수가 높아지는 현상)를 실증적으로 드러낸 점이 특히 독창적인 통찰.

Limitation & Further Study

• LLMaJ 자체의 신뢰성과 편향(judge 모델의 선택, 프롬프트 설계)에 대한 검증이 제한적이며, 다른 judge 모델과의 교차검증이 필요함.
• 평가 데이터셋이 kinase-inhibitor 도메인에 한정되어 있어(900쌍, 179 kinases, 54 inhibitors) 다른 생의학 분야나 태스크로의 일반화 가능성이 충분히 검증되지 않음(Tox21 등 일부 확장 실험이 있으나 발췌에서 상세 미제시).
• plausibility가 실제 interaction strength(ground truth)를 신뢰성 있게 구분하지 못한다는 발견 자체가 프레임워크의 한계이며, 이를 개선하기 위한 추가적인 calibration이나 uncertainty quantification 메커니즘이 필요함.
• rule priority order(다수결, tie-breaking, LLM fallback)의 구체적 규칙 설계가 다소 단순하며, 더 정교한 conflict resolution 전략에 대한 추가 연구가 요구됨.

Evaluation

총평: DrugAgent는 이질적 생의학 증거를 구조화된 reasoning과 rule-guided decision으로 분리해 통합하는 참신하고 실용적인 multi-agent framework이며, plausibility와 evidence-grounded correctness 간 괴리를 드러낸 점은 향후 LLM 기반 생의학 reasoning 평가에 중요한 시사점을 제공한다.