TxAgent: An AI Agent for Therapeutic Reasoning Across a Universe of Tools

Motivation

• Known: 기존 LLM은 의료 데이터로 fine-tuning되지만 실시간 생의학 지식 접근이 불가능하고 환각 현상을 자주 생성하며, tool-augmented LLM은 RAG를 활용하나 다단계 추론이 제한적이다.
• Gap: 현재 의료용 LLM들은 실시간 검증된 지식 기반으로의 접근이 없고, 복잡한 약물 상호작용 평가와 다단계 치료 계획 수립에서 신뢰할 수 있는 추론을 수행하지 못한다.
• Why: 정밀의료는 환자 특성, 동반질환, 약물 상호작용, 금기사항, 임상 지침 등 다양한 요소를 종합적으로 고려해야 하므로, 검증된 외부 지식원과 다단계 추론을 결합한 에이전트가 필수적이다.
• Approach: TxAgent는 ToolUniverse(211개 도구), 다단계 추론 fine-tuned LLM, ToolRAG 검색 모델로 구성되며, ToolGen, QuestionGen, TraceGen 등 다중 에이전트 시스템을 통해 378,027개의 instruction-tuning 샘플을 자동 생성한다.

Achievement

• DrugPC 벤치마크: 92.1% 정확도로 GPT-4o(66.3%)를 25.8% 초과, Llama-3.1-70B(52.8%)를 39.3% 초과
• 약물명 변이 견고성: 브랜드명·제네릭명·설명 기반 약물 참조에서 <0.01의 매우 낮은 분산 달성 (GPT-4o: 9.96)
• TreatmentPC 벤치마크: 456개 실세계 치료 시나리오에서 GPT-4o보다 13.6%, Llama-3.1-70B보다 25.4% 우수
• DeepSeek-R1 대비: 671B 매개변수 모델보다 7.5% 높은 정확도로 전문화된 추론의 우월성 입증

How

Figure 2

• ToolUniverse에서 OpenFDA, Open Targets, Human Phenotype Ontology 등 검증된 데이터원 통합
• ToolRAG를 통한 쿼리 컨텍스트 기반 동적 도구 선택
• 다단계 추론 후 structured function call 실행
• 378,027개 instruction-tuning 샘플로 fine-tune (177,626 추론 단계, 281,695 함수 호출 포함)
• 5개 신규 벤치마크(DrugPC, BrandPC, GenericPC, TreatmentPC, DescriptionPC) 구성으로 약물 선택, 치료 개인화, 추론 견고성 평가

Originality

• 의료 도메인에 특화된 211개 도구 통합 toolbox의 체계적 설계
• ToolGen, QuestionGen, TraceGen 등 다중 에이전트 자동 데이터 생성 시스템의 창의적 개발
• 약물명 변이에 대한 견고성 측정 및 분석 프레임워크의 신규 제시
• 5개 종합 벤치마크를 통한 의료 AI 추론 능력의 다각적 평가 체계

Limitation & Further Study

• 현재 약물 관련 추론에 집중하며, 다른 치료 영역(외과, 방사선 치료 등)으로의 확장성 미검증
• 간단한 환자 특성만 다루며, 복잡한 다민족 유전체 데이터나 실시간 생리 모니터링 데이터 통합 부재
• ToolUniverse 도구 정확성이 데이터원(FDA label 등)의 업데이트 주기에 의존
• 윤리적 책임성, 의료 규제 준수, 임상 배포 경로에 대한 논의 부족

향후 연구: (1) 음성/영상 등 다양한 입력 양식 지원, (2) 임상 시험 데이터 기반 도구 추가, (3) 규제 기관과의 협력을 통한 임상 검증

Evaluation

총평: TxAgent는 의료용 AI 에이전트 설계의 새로운 기준을 제시하며, 검증된 외부 도구와 다단계 추론의 효과적 결합을 통해 정밀의료 응용에서 실질적 가치를 입증한다. 다만 임상 배포 경로, 윤리적 고려, 도메인 확장성에 대한 보완이 필요하다.