TSAssistant: A Human-in-the-Loop Agentic Framework for Automated Target Safety Assessment

Motivation

• Known: TSA는 유전학, 전사체, target homology, 약리학, 임상 데이터를 통합해 치료 표적의 안전성 위험을 평가하는 과정으로, AstraZeneca 5R 가이드라인과 같은 구조화된 프레임워크가 존재하지만 실행은 여전히 수작업이며 표준화되지 않았다. LLM 기반 agentic framework(tool-augmented LLMs, multi-agent coordination, RAG)와 AI Co-Scientist, AI Scientist 같은 autonomous scientific system이 지식 집약적 연구 작업에서 가능성을 보여주었다.
• Gap: 기존 autonomous scientific agent들은 개방형 탐색(open-ended exploration)에 초점을 맞추고 있어, TSA처럼 사전 정의된 보고서 스키마에 따른 구조화된 증거 종합(structured evidence synthesis)과 규제 산업에서 요구되는 traceability, reproducibility, human accountability, section-level 전문가 통제를 충분히 지원하지 못한다.
• Why: 제약 산업의 안전성 평가 워크플로우는 단순 자동화를 넘어 인간 감독, 투명한 근거 추적성, 세밀한 전문가 통제가 필수적이며, TSA는 후기 단계 임상 실패의 주요 원인인 표적 관련 안전성 문제를 조기에 발견해 신약개발 자원 낭비를 줄이는 데 핵심적인 역할을 하기 때문에 중요하다.
• Approach: 여러 도메인(유전학, 전사체, homology, 약리학, 임상)에 특화된 Research Subagent와 이를 통합하는 Synthesis Subagent로 구성된 human-in-the-loop multi-agent 프레임워크를 설계하여, 각 subagent가 curated biomedical sources에서 근거를 검색·인용하고 계층적 instruction과 programmatic enforcement로 hard/soft constraint를 모두 만족시킨다.

Achievement

1. section-based multi-agent workflow: 각 TSA 도메인을 독립적으로 근거화하고 인용하는 특화된 subagent로 보고서 생성을 분해하는 구조를 제안함.
2. three-layer instruction architecture: 조정 로직(coordination logic), 도메인 전문성(domain skills), 런타임 사용자 의도(runtime user intent)를 분리하는 계층적 instruction 구조를 설계함.
3. programmatic enforcement layer: execution hooks와 persistent memory store를 통해 soft constraint(prompt)를 보완하는 hard constraint를 워크플로우 전반에 적용함.
4. interactive refinement loop: tool 및 agent memory를 활용해 대화 맥락을 유지한 채 section 단위로 전문가가 검토·수정할 수 있는 HITL 루프를 구현함.
5. 다차원 품질 평가: 단일 총체적 비교 대신 reproducibility, evidential grounding, task-level accuracy, controllability라는 네 가지 축으로 보고서 품질을 분해하여 평가함으로써, 높은 재현성과 근거성, 인간 참조와의 상당한 일치, 전문가 주도 정제의 순긍정 효과를 확인함.

How

• Orchestrator가 사용자 입력(gene ID/symbol, UniProt accession, 질환 치료영역, 화합물 modality)을 받아 TSA 도메인별 Research Subagent(genetic, transcriptomic, homology, pharmacological, clinical)에 작업을 위임함
• 각 Research Subagent는 표준화된 tool interface를 통해 curated biomedical source(예: GTEx, DisGeNET 등 유사 데이터베이스)에서 증거를 검색·종합하고 개별적으로 인용 가능한 section을 생성함
• Synthesis Subagent가 도메인 간 findings를 통합해 최종 보고서를 구성함
• 세 계층(coordination logic, domain expertise, user intent)으로 분리된 instruction architecture가 각 subagent의 행동을 형성함
• programmatic execution hooks와 persistent memory store(tool memory, agent memory)가 워크플로우 전반에서 hard constraint를 강제함
• 전문가가 개별 section을 검토·수정할 수 있는 interactive refinement loop를 통해 대화 맥락(conversational context)을 반복(iteration) 간 유지함
• claim-level self-consistency, section별 evidential support rate 등의 지표로 reproducibility와 grounding을 정량 평가함

Originality

• 단일 holistic LLM 프롬프트 방식이 아니라 도메인별로 특화된 Research/Synthesis Subagent로 TSA 보고서 생성을 명시적으로 분해한 section-based multi-agent workflow를 제안함
• coordination logic, domain skill, runtime user intent를 분리하는 three-layer instruction architecture를 도입해 기존 multi-agent 시스템의 역할 분리(separation of concerns)를 instruction 수준까지 확장함
• soft constraint(prompt 기반 지시)와 hard constraint(programmatic execution hooks, persistent memory)를 병행하여 규제 산업에 요구되는 신뢰성을 보장하는 이중 강제 메커니즘을 설계함
• 보고서 품질을 단일 지표가 아닌 reproducibility, evidential grounding, task-level accuracy, controllability의 네 축으로 분해해 평가하는 평가 프레임워크를 제시함
• section 단위로 전문가가 개입할 수 있는 human-in-the-loop refinement loop를 대화 맥락 보존과 결합하여 규제 준수형 전문가 workflow에 맞게 설계함

Limitation & Further Study

• 논문 발췌본에는 실험 설정, 사용된 LLM 백본, 정량적 성능 수치, human reference와의 비교 방법론에 대한 세부 내용이 충분히 제시되지 않아 재현성 검증이 어려움
• 평가가 단일 기관(Roche) 내부 전문가와 데이터셋에 국한되어 있을 가능성이 있어 다양한 target 및 도메인에 대한 일반화 가능성이 불분명함
• self-consistency와 evidential grounding이 높다고 해서 실제 임상적/과학적 정확성이 보장되는 것은 아니며, 향후 외부 전문가 패널을 통한 대규모 blind evaluation과 다양한 target class에 대한 강건성 검증이 필요함
• HITL 정제 루프의 효율성(전문가 개입 시간, 비용 절감 효과)에 대한 정량적 분석이 추가로 요구됨

Evaluation

총평: TSA라는 실질적이고 고부가가치의 제약 산업 문제에 대해 human-in-the-loop multi-agent 프레임워크를 체계적으로 설계하고, 재현성·근거성·정확성·통제성이라는 다차원 평가 틀을 제시한 실용적이고 시의적절한 연구이다. 다만 발췌된 내용만으로는 정량적 실험 결과와 일반화 가능성에 대한 충분한 근거가 부족해 추가 검증이 필요하다.