BiomedBench Suite: Benchmarks for Evaluating LLM Performance on Biomedical Reasoning Tasks

Motivation

• Known: 기존 biomedical QA 벤치마크(MedQA, MedMCQA, PubMedQA, GeneTuring 등)는 parametric recall을 평가하며 이미 포화 상태에 근접했고, text-to-SQL 벤치마크(SPIDER, BIRD, MIMICSQL, EHRSQL 등)는 schema translation과 patient retrieval을 평가하지만 생의학 특유의 domain convention(유의성 임계값, 효과 방향성, 시험 단계 등)을 요구하지 않는다.
• Gap: 지금까지 어떤 평가도 동일한 전문가 저작 연구 질문 세트를 parametric reasoning과 grounded reasoning 양쪽에 동시에 적용한 적이 없어, 모델이 생의학 연구 과제에서 실패할 때 그 병목이 데이터 접근 부재 때문인지 과학적 추론 능력 부재 때문인지 구분할 수 없었다.
• Why: LLM을 신뢰할 수 있는 연구 협력자로 활용하려면 내재화된 도메인 지식에 의한 추론과 구조화된 과학 데이터베이스에 대한 정밀한 질의 능력이 모두 필요한데, 두 능력을 분리해 평가하지 못하면 실제 연구 현장에서 모델의 신뢰성 있는 활용 범위를 판단할 수 없다.
• Approach: 공유된 40개 전문가 시드 질문을 68,000개 이상의 인스턴스로 프로그램적으로 확장한 뒤, 동일한 질문을 CARDBiomedBench(parametric QA)와 BiomedSQL(grounded text-to-SQL)이라는 두 개의 상호보완적 벤치마크로 평가하고 동일한 BioScore 루브릭 기반 LLM-as-a-judge 지표로 채점한다.

Achievement

Figure 3. Scatterplot of safety rate (SR) versus response quality rate (RQR) on CARDBiomedBench.

1. CARDBiomedBench 결과: 16개 모델 중 어떤 모델도 정확도와 안전한 abstention을 동시에 균형있게 달성하지 못했으며, 최고 정확도 모델(GPT-4.1)은 51% RQR에 그쳤고 가장 안전한 모델(Claude-4.0-Sonnet)은 75% SR을 달성했지만 RQR은 24%에 불과했다.
2. BiomedSQL 결과: grounded 접근을 통해 데이터에 직접 접근하면 응답 품질이 크게 향상되어(Gemini-3-Pro 81.8% RQR로 51% parametric 상한을 상회) 하지만 execution accuracy는 최고 62.6%(커스텀 에이전트 BMSQL)에 그쳐 90% 전문가 기준선에 크게 미달했다.
3. 지속되는 실패 양상 규명: 유의성 임계값 적용, 시험 단계(trial-phase) 의미 해석, 다중 홉 필터 연결 등 parametric 모델을 어렵게 하는 추론 연산이 grounded 모델에서도 동일하게 발생함을 보여, 지식 접근이 응답 품질은 개선하지만 근본적인 검색 실패를 교정하지는 못함을 입증했다.
4. 벤치마크 구축 방법론 정리: 전문가 저작의 역할, BioScore 같은 LLM-as-a-judge 지표의 도메인 전문가 대비 검증(Spearman correlation = 0.89), 두 modality를 함께 평가해야 하는 근거 등 기술적 도메인에서의 벤치마크 구축 교훈을 종합했다.

How

Figure 1. Overview of BiomedBench Suite, where the same question is evaluated under (A) parametric QA (CARDBiomedBench)

• 신경퇴행성 질환 연구 분야의 40개 전문가 저작 시드 질문을 기반으로 68,000개 이상의 question-answer 쌍을 프로그램적으로 확장하여 CARDBiomedBench 구축
• 각 질문에 대해 GWAS summary statistics, multi-omic causal inference, 약물 승인 기록, 약리학 데이터를 통합한 harmonized BigQuery 지식베이스를 구축하고, 전문가 저작 gold SQL query와 실행 가능한 BigQuery target을 페어링하여 BiomedSQL 구축
• BioScore라는 rubric 기반 LLM-as-a-judge 지표를 도메인 전문가 채점과 대조 검증(Spearman correlation = 0.89)하여 response quality rate(RQR)와 safety rate(SR)를 동시에 측정
• 16개 이상의 최신 LLM(및 커스텀 multi-step agent BMSQL)을 두 벤치마크 모두에서 평가하여 parametric과 grounded reasoning 간 성능을 비교

Originality

• 동일한 전문가 저작 연구 질문 세트를 parametric QA와 grounded text-to-SQL이라는 두 상호보완적 modality로 동시에 평가하는 최초의 시도로, 기존 벤치마크들이 각 modality를 독립적으로 평가하던 한계를 극복
• 정확도뿐 아니라 안전한 abstention 능력까지 함께 측정하는 BioScore 지표를 도입하고 이를 도메인 전문가 채점과 정량적으로 검증한 점
• 유의성 임계값, 효과 방향성, 시험 단계 필터링 등 생의학 도메인 특유의 암묵적 추론 요구사항을 text-to-SQL 과제에 명시적으로 반영한 BiomedSQL 설계

Limitation & Further Study

• 시드 질문이 40개로 제한적이며 신경퇴행성 질환이라는 특정 서브도메인에 국한되어 있어 다른 생의학 분야로의 일반화 가능성은 추가 검증이 필요함
• BioScore와 같은 LLM-as-a-judge 지표 자체가 평가 대상 모델과 유사한 계열의 LLM에 의존할 경우 평가 편향 가능성이 존재할 수 있음
• 발췌된 본문에서는 BMSQL 에이전트의 구체적 설계 및 실패 사례에 대한 세부 오류 분석이 충분히 제시되지 않아, 정확도 향상을 위한 구체적 개선 방향 제시가 제한적임
• 후속 연구로는 더 넓은 생의학 서브도메인으로의 확장, retrieval 실패의 세부 원인 분석, 그리고 grounded 모델의 검색 정확도를 높이기 위한 아키텍처 개선이 필요함

Evaluation

총평: 동일 질문 세트를 두 modality로 평가하여 생의학 LLM의 근본적 병목(지식 접근 vs 과학적 추론)을 분리해 규명한 참신하고 실용적인 벤치마크 제안이며, 정확도-abstention 트레이드오프와 grounding의 한계를 명확히 보여준 점에서 의미가 크다.