MedResearchBench: A Multi-Domain Benchmark for Evaluating AI Research Agents on Clinical Medical Research

Motivation

• Known: AI Scientist, data-to-paper, Agent Laboratory 등 자동화된 과학 연구 시스템들이 등장했으나, 기존 벤치마크는 기계학습, 물리학, 화학 등 기초 과학에 집중되어 있다.
• Gap: 의료 임상 연구의 고유한 도전(복잡한 조사 설계, 교란 변수 제어, 보고 표준 준수, 임상적 해석)을 평가할 수 있는 벤치마크가 부재하며, NHANES 논문 공장 문제로 인해 AI 시스템의 의료 연구 품질 관리가 시급하다.
• Why: AI 연구 자동화 시스템이 의료 분야로 확대되고 있는 상황에서 임상적으로 타당하고 비윤리적 관행을 방지하는 품질 기준이 필수적이며, 의료 문헌의 질을 보장할 수 있는 체계적 평가 체계가 필요하다.
• Approach: 공개 데이터셋(NHANES, SEER)에 기반한 16개 과제를 7개 임상 영역에 걸쳐 구성하고, 통계 방법론, 결과 정확도, 시각화 품질, 임상적 해석, 교란 민감도, 보고 준수의 6개 의료 특화 평가 차원으로 LLM Judge를 통해 채점하는 벤치마크를 설계한다.

Achievement

Figure 1: MedResearchBench architecture overview. Tasks are organized across 7 clinical

• MedResearchBench 구축: 7개 임상 영역(심혈관, 종양학, 정신 건강, 대사, 호흡기, 신경학, 감염병) 16개 과제로 구성된 최초의 의료 임상 연구 특화 벤치마크
• 의료 특화 평가 프레임워크: 통계 방법론(가중치 0.20), 결과 정확도(0.25), 시각화 품질(0.15), 임상적 해석(0.20), 교란 민감도(0.10), 보고 준수(0.10)의 6개 차원으로 의료 연구 품질의 다면적 평가 가능
• 논문 공장 방지 메커니즘: 고품질 논문(IF 2.3–51.0) 16편의 그라운드 트루스와 명시적 품질 기준으로 형식적이고 비임상적인 연구 배제
• 파일럿 기준선 결과: agentic data2paper 파이프라인이 3개 과제에서 72/100(Tier 1), 69/100(Tier 2), 75/100(Tier 3)의 점수 달성(평균 72/100, B-등급)
• 공개 및 확장 가능성: 모든 과제 자료를 공개 데이터셋 기반으로 제공하여 재현성과 커뮤니티 기여 가능

How

Figure 1: MedResearchBench architecture overview. Tasks are organized across 7 clinical

• NHANES와 SEER 공개 데이터셋에서 추출한 16개 임상 과제를 7개 도메인에 균형있게 배분
• 각 과제의 그라운드 트루스로 PMID, DOI, IF 정보를 포함한 고품질 출판 논문 선정
• 6개 평가 차원별 가중치를 정의하고 LLM Judge가 structured checklist(5개 평가 항목 × 6개 차원)에 따라 0–100 점수 부여
• Tier 1(n=5), Tier 2(n=7), Tier 3(n=4)의 난이도 계층화로 과제 다양성 확보
• 기본 논문 선정 기준에 anti-paper-mill 필터링 포함하여 교란 제어, 표본 설계 고려 여부 검증
• agentic data2paper 파이프라인을 3개 파일럿 과제(3개 난이도 단계 각 1개)에 적용하여 실행 가능성 검증

Originality

• 의료 임상 연구에 특화된 첫 번째 벤치마크로, 기초 과학 중심의 기존 평가 체계(ResearchClawBench 등)와 구별되는 의료 영역 고유의 도전 과제를 명시적으로 다룸
• 통계적 추론(OR, HR, 회귀분석), 교란 변수 제어, STROBE/CONSORT 보고 표준 준수, 임상적 해석 등 6개 차원의 의료 특화 평가 프레임워크 개발
• NHANES 논문 공장 문제를 구체적으로 진단하고, 이를 방지하기 위한 품질 기준을 벤치마크 설계에 통합
• 공개 데이터셋 기반 구성으로 재현성과 확장성을 확보하며, 난이도 계층화와 도메인 다양성을 통해 체계적 평가 가능

Limitation & Further Study

• 현재 파일럿 평가는 3개 과제에만 적용되었으므로, 16개 전체 과제에 대한 포괄적 기준선 결과 부재
• LLM Judge의 신뢰성에 대한 인간 전문가 평가자와의 일치도(inter-rater reliability) 검증 미흡
• agentic 파이프라인의 주요 제한(공변수 불완전성, 참조 그룹 오지정)에 대한 심층 분석 및 개선 방안 제시 부족
• 의료 윤리, 환자 프라이버시, 부분집단 형평성 평가 등 추가적 의료 특화 차원의 통합 필요
• 후속 연구로 더 많은 AI 시스템(다양한 LLM, 다중 에이전트 아키텍처)의 평가와 벤치마크의 더블-블라인드 피어 리뷰 과정 필요

Evaluation

총평: 본 논문은 의료 임상 연구의 고유한 복잡성을 반영한 최초의 전문화된 벤치마크를 제시함으로써 AI 연구 자동화 시스템의 의료 분야 적용에 있어 중요한 품질 평가 기준을 확립한다. NHANES 논문 공장 문제를 명확히 인식하고 이를 방지하기 위한 설계로, 의료 AI 시스템의 책임있는 개발과 배포를 위한 실질적 기초를 제공한다.