AMR-Bench-mini: A Diagnostic Benchmark for Agentic Mechanistic AMR Reasoning under Evidence Insufficiency

Motivation

• Known: Boiko et al., Bran et al., Swanson et al., Du et al. 등을 통해 planner+tools+critic 구조의 agentic biology 시스템이 화학, CRISPR 설계, 항체 최적화, 항생제 발견 등에서 검증되어 왔으며, BV-BRC, CARD, AMRFinderPlus, ResFinder, MEGARes, CRyPTIC 등 AMR 관련 데이터베이스와 어노테이션 도구는 이미 풍부하게 존재한다.
• Gap: 기존 biology-agent 벤치마크들(PaperQA, BixBench 등 계열)은 산발적인 AMR 항목만 포함할 뿐 agentic AMR mechanistic reasoning 자체를 표적으로 하는 공개 벤치마크가 없으며, 특히 가시적 어노테이션 증거가 관찰된 임상 표현형을 결정론적으로 설명하지 못하는 evidence insufficiency 상황에서의 task design이 부재하다.
• Why: LLM 에이전트가 실제로 증거의 충분성을 판단하지 못하고 그럴듯한 기전을 지어내는 경향(hallucination-like pattern matching)이 있다면, 임상적으로 위험한 오판을 유발할 수 있어, 이를 정밀하게 진단하는 벤치마크는 agentic biology reasoning의 신뢰성 평가에 중요하다.
• Approach: 공개된 K. pneumoniae isolate 메타데이터, genome assembly, 실험실 AST 결과, 고정된 annotation 출력을 결합해 heuristic gold label을 생성하고, 계층화된 audit-and-fix 루프로 gold 신뢰도를 높인 뒤, 균형 잡힌 pilot split과 7개 범주별 실패 모드로 구성된 hard diagnostic split에서 세 개의 frontier 모델을 평가한다.

Achievement

1. AMR-Bench-mini 벤치마크 구축: 60개 공개 K. pneumoniae isolate로부터 924개 MechReason task(및 1,201 GenoPheno, 987 DBReconcile 페어링 트랙)를 생성하고, 50-task 균형 pilot과 evidence insufficiency, substrate-specificity decoy, intrinsic/acquired ontology, hybrid mechanism 등 7개 범주로 조직된 50-task hard split을 공개했다.
2. Audit-and-fix gold 개선 방법론: 2라운드 계층화 감사(31개, 29개 카드)를 통해 5개의 체계적 priority 오류를 발견·수정하여 non-KEEP율을 29%에서 7%로 낮추고, heuristic gold 신뢰도를 71%에서 93%로 끌어올렸으며, 세 벤더가 모두 heuristic gold에 반대로 합의한 4개 사례를 candidate gold error로 별도 조정(adjudicated override)했다.
3. Cross-vendor invariance 및 tool injection null 결과: GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.7이 pilot에서 82–88%, hard split에서 50–64%를 기록했으며 Wilson 95% CI가 겹치는 가운데, 세 모델 모두 abstention 카테고리(C1)에서 ~25% 정확도로 수렴하는 것을 확인했고, CARD ARO substrate-context 사전 해결 도구를 Gemini 프롬프트에 주입해도 hard accuracy에 순 0%p 효과(2승 2패)만 나타남을 보였다.

How

• 60개 공개 K. pneumoniae isolate의 BV-BRC 메타데이터, FASTA assembly, 1,410개 AST 레코드, AMRFinderPlus/ResFinder annotation을 결합해 corpus를 구성하고 외부 도구 버전과 Docker 이미지를 provenance.json에 고정
• deterministic priority-ordered mapping으로 gene-class evidence를 mechanism class에 매핑하는 heuristic gold 생성
• permeability_loss, regulator_loss_of_function, insufficient_evidence를 oversampling하는 2라운드 계층화 감사(각 31개, 29개 카드)로 gold 오류 수정
• 5-layer mechanistic explanation(genome, protein, mechanism, cell, phenotype)과 9-term mechanism_class 어휘(insufficient_evidence 포함)를 요구하는 MechReason task 설계
• 7개 카테고리(C1 abstention부터 C7 cefoxitin true hydrolysis control까지)로 구성된 hard split을 결정론적으로 추출
• 단일 공유 시스템 프롬프트, provider-native API, chain-of-thought 없이 단일 시도, 완전 자동 composite 채점(mechanism_class 일치, 필수 유전자 언급, 5-layer 구조 완비)으로 세 모델 평가
• CARD ARO 기반 pre-resolved substrate-context tool을 Gemini 프롬프트에만 주입하는 ablation 실험 수행

Originality

• 기존의 광범위한 AMR 데이터베이스(CARD, AMRFinderPlus 등)를 재사용하는 대신, evidence insufficiency를 명시적으로 요구하는 task design에 초점을 맞춘 최초의 agentic mechanistic AMR reasoning 벤치마크
• 단일 종(K. pneumoniae)에 엄격히 국한된 "mini" 진단 벤치마크 설계로, 규모보다 실패 모드의 정밀한 범주화(7개 카테고리)를 우선시
• heuristic gold label의 신뢰도를 정량적으로 추적하고 개선하는 stratified audit-and-fix 루프를 명시적 방법론으로 문서화
• 세 벤더 모델이 heuristic gold에 만장일치로 반대하는 경우를 gold error 후보로 활용하는 cross-vendor consensus 기반 adjudication 절차
• pre-resolved substrate-context tool 주입이라는 negative/null 결과를 통해 단순 substrate lookup 도구 제공만으로는 evidence-sufficiency reasoning이 해결되지 않음을 실증

Limitation & Further Study

• 단일 종(K. pneumoniae)과 60개 isolate, 50-task hard split이라는 소규모 범위로 인해 결과의 일반화 가능성이 제한적이며, "mini"라는 명칭 자체가 이를 인정
• 자동 채점기가 mechanism_class 일치와 gene mention, 구조적 완비성만 확인할 뿐 5-layer 설명이나 hypothesis/validation step의 실제 의미론적 질을 평가하지 않아, 그럴듯하지만 부정확한 서술이 정답 처리될 위험이 있음
• Wilson 95% CI가 세 모델 간 겹쳐 통계적으로 유의한 성능 차이를 주장하기 어려우며, 표본 크기(hard split n=50, 일부 카테고리 n=2~4)가 매우 작아 카테고리별 결론의 통계적 신뢰도가 낮음
• tool injection 실험이 Gemini 한 모델에만 적용되어 다른 두 모델에 대한 일반화가 검증되지 않았고, CARD ARO substrate-context 외 다른 형태의 tool augmentation(예: 실시간 검색, multi-turn reasoning)은 탐구되지 않음
• 후속 연구로 다종(multi-species) 확장, 의미론적 채점(semantic grading)의 자동화, 더 다양한 tool-augmentation 및 chain-of-thought 개입에 대한 체계적 실험이 필요

Evaluation

총평: 단일 종에 국한된 소규모 진단 벤치마크이지만, evidence insufficiency 인식이라는 핵심적이면서도 그동안 간과된 실패 모드를 정밀하게 포착하고 세 frontier 모델의 공통된 약점(abstention 정확도 ~25%)과 단순 tool injection의 무효성을 명확히 보여준 실증적으로 탄탄한 연구이다.