TRIAGE: An AI Scientist for Adversarial Target Falsification

Motivation

• Known: 임상시험 성공률이 낮은 주된 이유는 타겟 가설의 유효성·안전성 부족이며, GWAS 유전학적 근거, GTEx/DepMap 발현 특이성, 임상시험 이력 등이 타겟 검증에 유용하다는 것이 알려져 있다. 또한 Biomni, BioLab, STELLA, Virtual Biotech 등 최근 agentic AI가 신약 발굴 파이프라인의 여러 단계를 자동화하고 있다.
• Gap: 기존 agentic AI 시스템들은 대부분 타겟 가설 생성(hypothesis generation)에 초점을 맞추고 있으며, LLM의 hallucination과 overconfidence로 인해 신뢰할 수 있는 타겟 반증(falsification) 메커니즘이 부재하다.
• Why: 타겟 가설의 오류를 후속 임상 단계로 넘어가기 전에 조기에 걸러낼 수 있다면, 90% 이상에 달하는 임상시험 실패율과 막대한 개발 비용·시간을 크게 절감할 수 있어 신약 발굴 산업 전반에 실질적 파급력을 가진다.
• Approach: Biomni 기반 생성 에이전트로 후보 타겟 가설을 제안하고, 근거 검색 에이전트와 causal perturbation 기반 에이전트라는 두 개의 적대적 에이전트가 반복적으로 이를 반증하여 최종적으로 pass/fail/need data 판정과 target card를 산출하는 구조이다.

Achievement

Figure 1. Architecture of TRIAGE.

1. 아키텍처 제시: 생성-반증 이중 구조(dual-critic architecture)를 갖춘 TRIAGE 프레임워크를 설계하여 타겟 발굴을 hypothesis generation에서 hypothesis falsification으로 전환하였다.
2. 다중 근거 통합: GWAS, GTEx, DepMap, 임상시험 기록, AlphaGenome, X-Cell 등 이질적인 유전학·발현·임상·인과성 근거를 하나의 반증 파이프라인에 통합하였다.
3. 평가 프레임워크 설계: Open Targets Platform 기반의 target recovery(Top-k recall), false-target elimination, ablation 실험 등 체계적인 벤치마크 평가 계획을 제시하였다.
4. 거버넌스 고려: sandbox 실행, 읽기 전용 데이터 접근, 불변 로깅, human oversight 등 안전성·신뢰성 확보를 위한 거버넌스 요소를 포함하였다.

How

Figure 1. Architecture of TRIAGE.

• 생성 에이전트: Biomni를 사용해 bulk/single-cell RNA-seq, Perturb-seq, multi-omics, spatial transcriptomics, proteomics, genetic variant data 등 다양한 입력으로부터 "Target X in Context Y drives Phenotype Z through Pathway A" 형태의 후보 타겟 가설을 생성.
• 적대적 에이전트 1 (근거 반박): GWAS(유전학), GTEx/DepMap(안전성·특이성), Virtual Biotech의 임상시험 데이터(과거 실패 사례), 유전자셋/기능 annotation(bystander 식별)을 활용해 반증 근거를 수집.
• 적대적 에이전트 2 (인과성 반박): AlphaGenome으로 fine-mapped GWAS 변이의 mutagenesis 효과를 예측하고, X-Cell로 후보 유전자 knockout의 in silico perturbation을 수행하여 인과적 가설을 검증.
• 출력 에이전트: 반복적 반증 라운드의 결과를 장기 기억에 기록하고, 각 타겟에 대해 지지/반대 근거, pass/fail/need data 추천, confidence level, 후속 실험 제안을 포함한 target card를 생성.
• 평가: Open Targets Platform 기반 벤치마크로 target recovery(Top-k recall) 및 false-target elimination 성능을 측정하고, generator-only/single-adversary 변형과 knowledge ablation을 통해 구성 요소별 기여도를 분석.

Originality

• 타겟 발굴 문제를 생성적 가설 제안이 아닌 적대적 반증(adversarial falsification) 관점으로 재구성한 프레임워크 설계가 독창적이다.
• 근거 기반 반박(evidence retrieval)과 인과성 기반 반박(in silico perturbation)을 별도의 두 적대적 에이전트로 분리하여 서로 다른 실패 모드(비유효성 vs 반응적 연관성)를 각각 겨냥한 점이 특징적이다.
• AlphaGenome, X-Cell 등 최신 예측 모델을 반증 도구로 활용해 causal hypothesis를 in silico로 검증하는 접근이 새롭다.

Limitation & Further Study

• 워크샵 발췌본 특성상 실제 실험 결과(정량적 성능, recall/elimination rate 수치)가 제시되지 않아 방법론의 실효성을 검증하기 어렵다.
• Open Targets Platform의 "highly validated associations"를 ground-truth로 사용하는 것은 기존 데이터베이스 편향을 그대로 상속할 위험이 있다.
• LLM 기반 에이전트 자체의 hallucination 문제를 반증 구조로 완전히 해소할 수 있는지에 대한 정량적 근거가 부족하며, 적대적 에이전트 간 수렴(convergence) 메커니즘의 이론적 보장도 불명확하다.
• 후속 연구에서는 실제 벤치마크 성능 결과, 인간 전문가와의 일치도, 그리고 다양한 질병/타겟 도메인에 대한 일반화 가능성을 검증할 필요가 있다.

Evaluation

총평: 타겟 발굴을 반증 중심으로 재구성한 아이디어는 신약 개발의 핵심 병목을 정확히 짚은 참신하고 의미 있는 접근이지만, 워크샵 초록/발췌 수준의 논문으로 실증적 검증 결과가 부재하여 실효성 판단에는 후속 연구 결과가 필요하다.