SciReplicate-Bench: Benchmarking LLMs in Agent-driven Algorithmic Reproduction from Research Papers

Essence

Figure 1:

본 논문은 연구 논문에서 알고리즘 설명을 기반으로 코드를 생성하는 LLM의 능력을 평가하기 위해 SciReplicate-Bench라는 벤치마크를 제안한다. 이는 알고리즘 이해와 코딩 전문성이라는 두 가지 핵심 역량이 필요한 복합적인 과제이다.

Motivation

Known: 기존의 ML 소프트웨어 엔지니어링 벤치마크(MLE-BENCH, MLAgentBench, ML-BENCH)는 주로 알고리즘 설계나 간단한 구현을 평가하며, Kaggle이나 GitHub 저장소를 기반으로 한다. 최근 LLM 기반 코드 생성이 발전했으나, 학술 논문에서 직접 알고리즘을 재현하는 능력을 평가하는 전용 데이터셋은 부재했다.
Gap: 기존 벤치마크들은 학술 논문의 알고리즘 이해와 저장소의 복잡한 의존성 관리를 동시에 평가하지 못한다. 논문에서 정보 추출, 외부 문헌 참조, 파일 간 의존성 파악 등을 통합적으로 평가할 수 있는 벤치마크가 필요했다.
Why: LLM이 과학 발견을 가속화하는 도구로서 논문의 알고리즘을 실행 가능한 코드로 변환할 수 있다면 재현성을 높이고 과학 발견을 촉진할 수 있다. 이는 계산 검증이 필수적인 많은 분야에서 중요하다.
Approach: 두 단계의 과제: (1) 논문에서 워크플로우, 알고리즘 설명, 하이퍼파라미터 값 등의 필수 정보 추출, (2) 제공된 저장소 내에서 추출된 정보와 논문의 LaTeX 표현을 사용하여 함수나 메서드 구현. Paper Agent와 Code Agent로 구성된 Sci-Reproducer라는 이중 에이전트 시스템을 제안한다.

Achievement

Figure 2: A grouped bar chart illustrating the frequency of tool usage by different models.

SciReplicate-Bench: 2024년 발행된 36개 NLP 논문에서 추출한 100개의 알고리즘 재현 과제로 구성된 벤치마크 구축
Reasoning Graph Accuracy 메트릭: 코드 주석과 구조로부터 생성된 추론 그래프와 참조 그래프 간의 유사도를 정량화하여 알고리즘 이해도 평가
Sci-Reproducer 시스템: Paper Agent와 Code Agent로 구성된 이중 에이전트 프레임워크 제안
종합 평가: 최고 성능 LLM도 39% 실행 정확도만 달성하여 벤치마크의 높은 난이도 입증
분석 결과: 알고리즘 설명 누락이나 불일치가 재현 실패의 주요 원인임을 식별

How

Figure 1:

2024년 발행된 최근 NLP 논문 100개 선정하여 데이터 유출 위험 최소화
상세한 주석과 포괄적인 테스트 케이스가 포함된 벤치마크 구성
실행 정확도, CodeBLEU, 저장소 의존성/API recall 등 다양한 평가 메트릭 활용
Reasoning 모델과 non-reasoning 모델을 포함한 다양한 강력한 LLM 평가
생성된 추론 그래프와 참조 그래프의 유사도를 기반으로 알고리즘 이해도 측정

Originality

학술 논문에서 알고리즘을 직접 재현하는 작업을 평가하는 첫 번째 전용 벤치마크 구축
Reasoning graph를 통한 알고리즘 이해도 평가라는 새로운 접근법 제안
논문 이해(paper understanding)를 저장소 탐색(repo-search)과 테스트 케이스와 통합한 벤치마크 설계
PaperBench, Paper2CodeBench 등 동시대 연구와 달리 객관적인 실행 정확도 기반 평가 강조

Limitation & Further Study

100개 과제 규모로 다양한 NLP 응용 분야의 대표성이 제한적일 수 있음
2024년 논문만 선정하여 알고리즘의 복잡도와 다양성이 제한됨
Reasoning graph 구축의 주관성 문제(코드 주석 작성 방식에 따른 편차 가능)
LLM이 동적 행동(overthinking)을 보이는 현상의 근본 원인 분석 부족
후속 연구: 더 다양한 분야의 논문 포함, 그래프 유사도 계산 방식 개선, 모델의 overthinking 현상 완화

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 LLM의 과학적 재현성 평가라는 중요하고 미개척된 영역에 첫 번째 전용 벤치마크를 제공한다. SciReplicate-Bench와 reasoning graph accuracy 메트릭은 학술적으로 가치 있으며, 실행 기반의 객관적 평가로 기존 연구의 한계를 극복했다. 다만 벤치마크 규모 확대와 overthinking 현상의 심층 분석이 향후 필요하다.

같이 보면 좋은 논문

Can language models falsify? evaluating algorithmic reasoning with counterexample creation

기반 연구반례 생성 능력 평가를 다른 프로그래밍 문제로 확장한다.

후속 연구LLM 기반 에이전트의 코드 생성 능력을 평가하는 확장된 접근이다.

Autoreproduce: Automatic AI Experiment Reproduction with Paper Lineage

다른 접근AI 실험 자동 재현을 위한 유사한 다중에이전트 접근법을 제시한다.

AutoP2C: An LLM-Based Agent Framework for Code Repository Generation from Multimodal Content in Academic Papers

다른 접근논문으로부터 코드 저장소를 생성하는 유사한 목표를 가진 프레임워크이다.

AI-Researcher: Autonomous Scientific Innovation

다른 접근LLM의 과학 논문 이해 및 코드 구현 능력을 평가하는 유사한 벤치마크다.

A Multimodal Literature Agent as Substrate for Autonomous Biology Research

다른 접근과학 논문 기반 작업 수행 능력을 평가하는 유사한 목적의 연구이다.

Training AI Co-Scientists Using Rubric Rewards

후속 연구self-grading RL의 이론적 기반을 제공한다.

VarLitBench and VarLitAgent for Benchmarking and Automating LLM-Assisted Functional Evidence Curation in Genomic Variant Interpretation

후속 연구SPECTER2 유사도 0.94로 Biomedical AI Knowledge Systems와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'SciReplicate-Bench: Benchmarking LLMs in Agent-driven Algorithmic Reproduction from Research Papers'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

REPA: Reproducibility Evaluation via an Autonomous Pipeline Architecture

응용 사례LLM 코드 생성 능력을 실제 과학 논문 재현에 적용한다.