AIVARI Agent: An Evidence-Grounded Agentic LLM for Variant Reportability and Interpretation

Motivation

• Known: 기존 tool-augmented LLM agent들은 과학 자동화, 생의학 연구, 희귀질환 진단 등에 적용되어 왔으나, 임상 변이 해석에서 환자 단위 다중 가설 reportability 평가에 대한 시스템 수준 검증은 제한적이었다.
• Gap: 임상 변이 해석은 후보 유전자마다 여러 gene-disease 가설이 경쟁하는 환자 단위 다중 가설 추론 문제임에도, 기존 파이프라인은 rule-based 유전형 평가와 LLM 기반 표현형 평가를 분리하여 결합하거나 다중 pass 정제 방식을 사용해 실제 임상 배포 환경(케이스당 다수 후보 유전자, 비용 제약)에 적합하지 않았다.
• Why: 단일 rollout으로 다중 가설을 동시에 평가하고 필요 시에만 외부 근거를 조회하는 방식은 추론 비용을 억제하면서도 임상 배포에 적합한 agentic LLM 설계 방향을 제시하며, 실제 300건 임상 코호트에서 운영 중인 하이브리드 파이프라인 대비 우수한 성능을 보여 임상 적용 가능성을 시사한다.
• Approach: 각 후보 유전자에 대해 하나의 연속적인 reasoning trajectory 내에서 해당 유전자와 연관된 모든 (gene, disease) 가설을 동시에 평가하고, OMIM/ClinVar/candidate-variant detail 등의 tool을 추론 도중 필요 시에만 호출하는 단일 rollout agentic 아키텍처를 설계했다.

Achievement

1. 성능 지표 달성: 300건 임상 코호트(6,460개 가설)에서 Group Sensitivity 0.905, Group NPV 0.933, Row Precision 0.351을 달성했다.
2. 운영 파이프라인 대비 개선: 235건 공통 subset에서 운영 중인 hybrid pipeline 대비 Group Sensitivity +34pp, Group NPV +40pp를 개선했으며, 특히 Inconclusive 소견에서 가장 큰 개선폭을 보였다.
3. Tool 효과 검증: AIVARI Agent-NoTool과의 비교를 통해 tool augmentation의 단독 효과를 분리해 확인했다 (Group Sensitivity 0.900→0.905).

How

Figure 1. Our proposed AIVARI Agent system architecture. Step 1: patient case input. Step 2: candidate generation pipeli

• 문제를 candidate gene 집합 Gc, 각 유전자별 변이 집합 Vg, 연관 질병 Dg로 정의하고, 가설 공간 H={(g,d)|g∈Gc, d∈Dg}에 대해 fϕ,T: H→{0,1} 매핑을 학습 없이 agentic LLM으로 수행
• 환자 케이스 입력(HPO phenotype, variant calls, inheritance/family history) → ACMG/AMP 기반 rule 우선순위화 및 phenotype-aware ML ranker로 Top-K(~10) 후보 유전자 생성 → 유전자별 단일 agent rollout(OMIM, ClinVar, candidate variant detail tool 인터리빙) → JSON 형식의 (g,d) 단위 trichotomous decision(Positive/Inconclusive/Negative) 및 reasoning trace 출력 → case-level aggregation(하나라도 reportable이면 케이스 reportable)
• 300건 실제 임상 케이스(Positive/Inconclusive/Negative 각 100건 층화 추출)로 6,460개 가설 평가, 235건 공통 subset(1,022개 가설)으로 hybrid pipeline과 head-to-head 비교
• 평가 시스템: AIVARI Agent(Gemini 3 Flash 기반, tool 활성화), AIVARI Agent-NoTool(동일 모델·프롬프트, tool 비활성화), Hybrid Pipeline(Claude Sonnet 또는 Gemini 기반 phenotype 평가 + rule-based genotype 평가 결합)
• Group Sensitivity, Group NPV, Row Precision 등 임상적으로 정렬된 지표로 case-level 탐지력, rule-out 신뢰도, hypothesis-level 정밀도를 각각 정량화

Originality

• 임상 변이 해석을 patient-case-level 다중 가설(H={(g,d)}) reportability 추론으로 명시적으로 정식화한 최초 시도 중 하나
• planner, plan-execute-reflect cycle, 별도 critique pass 없이 유전자당 단일 연속 reasoning trajectory 안에서 모든 연관 gene-disease 가설을 동시 평가하는 variant-anchored single-rollout 아키텍처 제안
• 고정된 전처리 단계가 아니라 추론 도중 필요 시에만 외부 근거(OMIM, ClinVar, candidate-variant detail)를 조회하는 on-demand evidence grounding 방식 채택
• 실제 300건 임상 케이스와 임상의가 작성한 보고서를 시스템 독립적 ground truth로 사용한 통제된 tool ablation 및 운영 중인 hybrid pipeline과의 head-to-head 비교 수행

Limitation & Further Study

• 단일 기관 진단 서비스의 300건 코호트로 평가되어 타 기관·인구집단·질환 스펙트럼에 대한 일반화 가능성이 검증되지 않음
• SNV/INDEL로 국한되어 CNV, structural variant 등 다른 변이 유형에 대한 적용성은 미확인
• Row Precision이 0.351로 비교적 낮아 false positive reportable 판정이 상당수 존재할 가능성이 있으며, 이에 대한 원인 분석이나 완화 전략이 본문 발췌에서 충분히 제시되지 않음
• 후속 연구로 다기관 검증, CNV 등 변이 유형 확장, precision 개선을 위한 추가 근거 통합 및 human-in-the-loop 검증 절차 도입을 고려할 필요가 있음

Evaluation

총평: 임상 변이 해석을 환자 단위 다중 가설 추론으로 재정식화하고 단일 rollout agentic LLM으로 실제 임상 데이터에서 운영 파이프라인 대비 유의미한 개선을 보인 실용적이고 잘 검증된 연구이나, precision 지표와 일반화 범위에 대한 추가 검증이 필요하다.