BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics

Motivation

• Known: 기존 연구들은 LLM 기반 coding agent를 다양한 도메인의 복잡한 워크플로우 자동화에 활용해왔고, bioinformatics 분야에서도 command-line tool 체이닝과 파일 포맷 처리 등 agentic한 활용이 가능함이 알려져 있다.
• Gap: 기존 평가 방법은 풍부한 실제 bioinformatics 워크플로우를 단순한 question-answering이나 code-generation 문제로 축소시켜 agent의 세부 행동과 실패 양상에 대한 정교한 통찰을 제공하지 못하며, 민감한 환자 데이터·미공개 지적재산 문제로 인해 로컬에서 구동 가능한 신뢰성 있는 agent에 대한 평가가 부재했다.
• Why: bioinformatics 파이프라인은 초기 단계의 파라미터·알고리즘 선택이 최종 결과를 크게 좌우하고 환자 데이터와 지적재산 이슈로 인해 privacy-preserving local agent가 필수적인 만큼, 실질적인 end-to-end 태스크 기반의 견고성 평가 체계가 해당 분야의 신뢰할 수 있는 AI 자동화 발전에 중요한 기반이 된다.
• Approach: 수작업으로 curation한 10개의 end-to-end bioinformatics 태스크(각기 다른 organism, virus, ecosystem 기반)와 10개 모델(5개 open-weight, 5개 closed-weight)을 다양한 agent harness에서 평가하고, LLM 기반 grader로 pipeline progress와 outcome validity를 채점하는 벤치마크를 제안한다.

Achievement

Figure 2. Model-task completion heatmap. The left panel shows

1. BioAgent Bench 벤치마크 구축: RNA-seq, variant calling, metagenomics, single-cell, comparative-genomics 등 다양한 modality를 아우르는 10개의 수작업 curation된 end-to-end 태스크와 task-specific prompt, ground truth output(주로 CSV)을 제공하여 자동 평가를 지원한다.
2. frontier 모델 비교 평가: closed-weight 모델(claude-opus-4-5, gpt-5-2 등)이 정교한 custom scaffolding 없이도 다단계 파이프라인을 안정적으로 완수하는 반면, 최고 성능의 open-weight 모델(qwen-3-coder, glm-4.7 등)은 상당히 낮은 성능을 보임을 확인했다.
3. robustness 평가 체계 도입: corrupted input, decoy reference file, prompt bloat 등 controlled perturbation을 통해 high-level pipeline 구성 성공이 step-level 추론의 신뢰성을 보장하지 않는다는 failure mode를 발견했다.
4. 오픈소스 자원 공개: privacy-preserving local agent 개발 가속화를 위해 코드와 벤치마크 구성 자원 전체를 공개했다.

How

Figure 1. An overview of BioAgent Bench. Inputs to LLM agents consist of a task prompt, input data, and reference data.

• 태스크 설계: bulk/single-cell RNA-seq, comparative genomics, variant calling, metagenomics, viral metagenomics, transcript quantification, experimental evolution 등 10개 organism/virus/ecosystem 기반 태스크를 end-to-end pipeline 형태로 구성.
• 입력 구성: task prompt, input data(샘플 데이터), reference data(참조 게놈·주석 등)를 agent에 제공하며 general-purpose package와 bioinformatics tool(STAR, DESeq2, GATK, Kraken2 등) 사용을 허용.
• 평가 방식: LLM judge가 agent의 transcript 및 output을 ground truth와 비교하여 steps_completed, steps_to_completion, final_result_reached, f1_score, results_match 등의 지표 산출.
• robustness stress-test: vanilla 조건 외에 decoy reference data, corrupted input data, prompt bloat 세 가지 perturbation 조건에서 동일 태스크를 재평가.
• 모델 다양성: closed-weight(claude-opus-4-5, claude-sonnet-4-5, gpt-5-2, gpt-5-1-codex-max, gemini-3-pro-preview)와 open-weight(qwen-3-coder, devstral-2512, minimax-m2.1, glm-4.7, kimi-k2-thinking) 총 10개 모델을 여러 agent harness에서 비교.

Originality

• 기존의 단일 스텝 question-answering/code-generation 중심 평가 프레임워크와 달리, 실제 bioinformatics 실무자의 워크플로우를 반영한 end-to-end 멀티스텝 파이프라인 태스크를 벤치마크 단위로 채택.
• corrupted input, decoy reference data, prompt bloat 등 controlled perturbation을 통한 agent robustness 측정이라는 새로운 평가 축을 bioinformatics agent 평가에 도입.
• privacy-preserving local agent 필요성이라는 도메인 특유의 실용적 제약을 명시적으로 반영하여 open-weight 모델 성능을 함께 벤치마킹.

Limitation & Further Study

• 태스크 수가 10개로 제한적이어서 bioinformatics 분야 전체의 다양한 subfield와 실제 상황을 얼마나 폭넓게 대표하는지에 대한 검증이 부족할 수 있음.
• LLM 기반 grader 자체의 신뢰성과 편향(예: grader 모델의 판단 오류나 채점 일관성)에 대한 별도 검증이 충분히 논의되지 않음.
• ground truth를 CSV 등 정형화된 형태로 제한함으로써 생물학적으로 타당한 대안적 결과나 다중 해석 가능성을 충분히 포용하지 못할 가능성이 있음.
• 후속 연구로는 태스크 수 확대, grader의 신뢰도 검증, 더 다양한 perturbation 시나리오(예: 실제 임상 데이터 특성 반영) 추가가 필요함.

Evaluation

총평: 실제 bioinformatics 워크플로우의 복잡성과 민감 데이터 이슈를 정면으로 다루는 실용적이고 시의적절한 벤치마크로, agent의 robustness 실패 양상을 드러내는 perturbation 실험 설계가 특히 인상적이다. 다만 태스크 규모와 grader 신뢰성 검증 측면에서 추가 보완이 필요해 보인다.