ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

Motivation

• Known: 기존 생물학 벤치마크는 주로 객관식이나 단답형 질문으로 모델의 지식을 평가했으며, LAB-Bench, BixBench, GeneBreaker 등 일부 에이전트형 생물학 벤치마크가 등장했지만 대부분 데이터 분석이나 프로토콜 troubleshooting에 초점을 맞추고 있다.
• Gap: 생물학적 개체를 실제로 조작·설계하거나 생물학적 데이터를 생성(단순 분석이 아닌)하는 에이전트 능력, 특히 DNA 합성 스크리닝 우회와 같은 이중용도 위험 능력을 측정하는 재현 가능하고 고처리량이며 인간 기준선을 갖춘 벤치마크는 부재했다.
• Why: LLM 에이전트가 액체 취급 로봇 운용, DNA 조각 설계, 합성 스크리닝 우회 등 실질적인 분자생물학 작업을 인간 전문가 수준 이상으로 수행할 수 있다는 것은 생물보안 위협 지형의 근본적 변화를 의미하며, 이는 안전장치 활성화 시점 결정과 정책 수립에 직접적으로 필요한 정보이다.
• Approach: 저자들은 이중용도 생물보안 벤치마크 설계를 위한 7가지 설계 원칙을 제시하고, 이에 기반해 Fragment Design, Screening Evasion, Liquid Handling Robot이라는 세 가지 실질적 분자생물학 작업으로 구성된 ABC-Bench를 개발한 뒤, 8개 프론티어 LLM 에이전트를 인간 전문가 기준선과 비교 평가하고 일부 결과를 실제 웹랩 실험으로 검증했다.

Achievement

Figure 2. ABC-Bench evaluation results. Points show refusal-corrected mean accuracy across 10 runs; segments show 95% BC

1. 인간 전문가를 능가하는 성능: 테스트된 모든 LLM 에이전트가 세 가지 과제 모두에서 중앙값 인간 전문가 기준선을 능가했다.
2. 작업 유형별 성능 차이 발견: 에이전트는 공개된 지식과 잘 문서화된 프로토콜에 의존하는 과제에서는 높은 성능을, 새로운 bioinformatics 추론이 필요한 과제에서는 상대적으로 약한 성능을 보였다.
3. 실제 웹랩 검증 성공: OpenAI의 o4-mini-high가 작성한 스크립트를 OpenTrons 액체 취급 로봇에서 실행한 결과, 예상 서열대로 DNA 조립에 성공했음을 세 차례의 웹랩 검증 실험을 통해 확인했다.
4. 산업계 채택: ABC-Bench는 주요 AI 기업들이 자사 모델 카드에서 "Screening Evasion", "Fragment Design", "Liquid Handling Robot" 평가로 인용할 만큼 실질적인 영향력을 얻었다.

How

Figure 3. Pipeline for generating OpenTrons protocols.

• 7가지 설계 원칙(이중용도 능력 측정, 에이전트로서 AI 테스트, 다양한 능력의 집합적 평가, 위험 사슬의 집합적 평가, 객관적·재현 가능한 채점, 고처리량 평가 지원, 정밀하게 명시된 인간 기준선 포함) 수립
• Fragment Design(in silico 서열 조각 설계), Screening Evasion(서열 조각 난독화를 위한 창의적 아이디어 생성), Liquid Handling Robot(저가 액체 취급 로봇에서 DNA 조립을 수행하는 스크립트 작성) 세 과제로 벤치마크 구성
• 각 과제는 최대 10개의 샘플(프롬프트 변형 또는 세부사항 변경)을 포함
• 에이전트에게 Bash shell, Python REPL, 생물정보학 도구, 웹 검색, OpenTrons Simulator 등 도구를 제공하고 알고리즘적 채점 기준(코드 실행 여부, 인큐베이션 정확성, DNA 부피, 시약 정확성 등)으로 자동 채점
• 175시간의 인간 전문가 baseline 데이터를 수집하여 비교
• Liquid Handling Robot 과제의 실제 산출물을 OpenTrons 로봇에서 실행하고 whole-plasmid sequencing으로 검증하는 웹랩 실험 수행

Originality

• 기존 벤치마크가 지식 질의응답이나 데이터 분석에 그친 것과 달리, 생물학적 개체를 직접 설계·조작하고 새로운 데이터를 생성하는 에이전트 능력을 평가하는 최초의 시도 중 하나
• DNA 합성 스크리닝 우회라는 명백히 이중용도적인 위험 능력을 정면으로 다루면서도 정보 위해를 최소화하는 방식으로 벤치마크를 설계
• 자동화된 알고리즘적 채점과 실제 웹랩 실험 검증을 결합하여 in silico 평가의 실세계 타당성을 입증
• 에이전트형 생물보안 벤치마크를 위한 7가지 설계 원칙을 체계적으로 제시하여 후속 연구의 프레임워크 제공

Limitation & Further Study

• 세 가지 과제만으로 구성되어 있어 생물보안 위험의 전체 스펙트럼(예: 병원체 획득, 배양, 방출 등 위험 사슬의 다른 단계)을 포괄하지 못할 가능성
• 인간 전문가 기준선의 표본 크기와 대표성(전문성 수준의 다양성)이 제한적일 수 있어 baseline의 통계적 견고성에 대한 추가 검증 필요
• 웹랩 검증이 Liquid Handling Robot 과제의 일부 사례에만 국한되어 있어 다른 두 과제(Fragment Design, Screening Evasion)의 실세계 타당성은 검증되지 않음
• 벤치마크 공개로 인한 정보 위해 가능성과 벤치마크 자체가 악용될 위험에 대한 완화 전략의 구체성이 본문 발췌만으로는 충분히 드러나지 않음
• 후속 연구로 더 많은 위험 사슬 단계를 포괄하는 과제 확장과 모델의 시간 경과에 따른 능력 향상 추적이 필요

Evaluation

총평: AI 에이전트의 생물학적 능력이 실제 위해로 이어질 수 있는 실질적 위험을 실증적으로, 그리고 웹랩 검증까지 곁들여 보여준 시의적절하고 중요한 연구로, 이미 산업계에 채택된 실용적 영향력을 갖추었으나 과제 범위와 인간 기준선의 확장이 추가로 필요하다.