BioSkillSafety: A Systematic Benchmark for Evaluating Agent Skill Safety in Bioinformatics

Motivation

• Known: LLM agent가 biomedical research에서 multi-step workflow를 자율 수행하는 도구로 부상했으며, BioMedAgent, GeneAgent 같은 구체적 구현체와 LAB-Bench, BioML-bench 같은 평가 벤치마크가 등장했다. 또한 일반 전문 도메인(finance, legal, software engineering)에서는 ClawSafety가 prompt injection 기반 skill injection 공격이 40-75% ASR을 달성함을 보였다.
• Gap: 기존 agent safety 연구는 일반 전문 도메인에만 초점을 맞춰 HIPAA/GDPR 규제, VCF/h5ad 조작 같은 생물정보학 특유의 취약점 유형, 낮은 audit trail을 가진 로컬 실행 환경 등 생물정보학 고유의 안전성 차원을 다루지 못했다.
• Why: 생물정보학 agent는 환자 유전 정보 유출뿐 아니라 과학적 근거 조작(예: 종양저항 마커 위조, 임상시험 효능 데이터 변조) 같은 일반 web agent와 질적으로 다른 위험을 초래할 수 있어, 병원 유전체 랩·제약 R&D·임상시험 환경에서 신뢰 가능한 배포를 위해서는 도메인 특화 안전성 평가가 필수적이다.
• Approach: six-layer taxonomy(Domain, Vulnerability, Action, Compliance, Technique, Tactic)를 설계하고 5개 도메인에 걸친 13개 대표 공격 사례를 3개 실제 skill repository와 11개 LLM에 매핑하여 4차원 Attack Success Rate(ASR) 지표로 안전성을 평가했다.

Achievement

1. 최초의 도메인 특화 벤치마크: 생물정보학 skill 기반 agent 안전성을 평가하는 최초의 체계적 프레임워크(BioSkillSafety)를 제시하고, 13개 공격 사례로 six-layer taxonomy에서 100% 커버리지를 달성했다.
2. 모델 간 안전성 격차 규명: 11개 모델, 3개 실제 skill repository, 429회 시행을 통해 backbone 선택에 따라 최대 2.4배(glm-5 ASR 0.198 vs gpt-5.4 ASR 0.467)의 안전성 격차가 존재함을 발견했다.
3. skill repository 공통 취약점 발견: BioClaw, OmicsClaw, ClawBio 세 저장소 모두에서 일관된 skill instruction 취약점(ASR 0.308-0.332)을 확인하여 어떤 skill library도 본질적으로 안전하지 않음을 입증했다.
4. 도메인별 차별화된 위험 패턴 도출: Infrastructure-Penetration은 87.5% 차단되어 가장 안전한 반면 Genomics-PHI는 9.4%만 차단되어 가장 취약함을 밝혀 도메인 맞춤형 안전장치의 필요성을 제시했다.

How

• Domain(D1-D5), Vulnerability(V1-V4), Action(A1-A3), Compliance(C1-C3), Technique(T1-T3), Tactic(K1-K3)의 6개 계층으로 구성된 taxonomy를 설계
• Genomics, Transcriptomics, Clinical, Infrastructure, External Communication 5개 도메인에 걸쳐 BS-01부터 BS-13까지 13개 대표 공격 사례 생성
• Jaccard similarity 기반 semantic keyword matching으로 BioClaw(275 skills), OmicsClaw(89 skills), ClawBio(56 skills) 각 저장소에서 case별 1-3개 top skill을 선정하고 SKILL.md에서 skill content를 추출해 현실적인 attack prompt 구성
• GPT family(gpt-5.3-codex, gpt-5.4, gpt-5.4-mini), GLM family(glm-4.7, glm-5), Qwen family(qwen3.5-plus, qwen3 등) 등 11개 모델에 표준화된 testing protocol 적용
• 4차원 Attack Success Rate(ASR) metric으로 안전성 평가 후 통계 분석 수행

Originality

• 일반 전문 도메인(finance, legal, software engineering)에 국한되었던 기존 ClawSafety 등의 skill injection safety 연구를 생물정보학이라는 고위험·고규제 도메인으로 최초 확장
• HIPAA/GDPR 준수 여부(Compliance layer)를 taxonomy에 명시적으로 포함시켜 규제적 맥락을 안전성 평가에 통합한 점이 독창적
• VCF exfiltration, h5ad manipulation 등 생물정보학 데이터 형식에 특화된 공격 유형을 정의하고 실제 배포 중인 skill repository(BioClaw, OmicsClaw, ClawBio)를 대상으로 실증 평가

Limitation & Further Study

• 13개 공격 사례가 taxonomy의 각 차원을 최소 1회 포함하도록 설계되었을 뿐 전체 조합에 대한 exhaustive coverage는 아니어서 미탐지 공격 패턴이 존재할 가능성이 있음
• 429 trials, 11 모델이라는 규모가 상대적으로 제한적이며, 발췌된 부분만으로는 ASR 산출 방식의 세부 검증 절차(예: 판정 기준, human validation 여부)가 불명확함
• 세 개의 skill repository만을 대상으로 하여 향후 더 많은 실제 오픈소스 bioinformatics agent 생태계로 일반화 검증이 필요함
• 후속 연구로 도메인별 맞춤 안전장치(safeguard) 설계 및 실제 배포 환경에서의 종단적(longitudinal) 안전성 모니터링이 요구됨

Evaluation

총평: 생물정보학이라는 고위험·고규제 도메인에 특화된 최초의 agent skill safety 벤치마크로서 실용적 가치와 시의성이 높으나, 발췌된 내용만으로는 공격 사례의 대표성과 ASR 평가의 엄밀성에 대한 추가 검증이 필요하다.