ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

Motivation

• Known: 기존 재현성 평가는 체크리스트 기반이며 도메인 특화적이다. LLM 에이전트는 과학 논문에서 실험 워크플로우를 추출할 수 있다.
• Gap: 기존 방법들은 도메인 특화적이고 단순한 문서 파싱에 의존하여 복잡한 절차적 의존성과 메타방법론적 계층을 포착하지 못한다. 확장 가능한 도메인 무관적 재현성 평가 프레임워크가 부재하다.
• Why: 과학 출판량의 기하급수적 증가와 LLM 기반 저술로 인해 피어 리뷰 워크로드가 과중해졌으며, 재현성 위기가 심화되고 있어 자동화된 진단 지원이 필수적이다.
• Approach: ARA는 LLM 에이전트를 사용하여 논문을 Sources-Methods-Experiments-Sinks로 구성된 directed workflow graph로 변환하고, 구조적·콘텐츠 기반 점수로 재현성을 평가한다.

Achievement

Figure 1:

• 도메인 무관적 평가: 213개 ReScience C 논문(다중 과학 분야)에서 일관된 워크플로우 재구성 달성
• 벤치마크 성능: ReproBench에서 60.71% (기존 36.84%), GoldStandardDB에서 61.68% (기존 43.56%)의 최고 정확도 달성
• 일관성 검증: 다양한 LLM, 온도 설정, 과학 도메인 전반에서 안정적 성능 입증
• 구조적 추론: 단순 체크리스트 방식을 벗어난 절차적 의존성과 메타방법론적 계층의 이해 가능

How

Figure 3: Workflow Graph Generated From A Scientific Paper.

• Document D를 directed workflow graph G로 변환 (Sources, Methods, Experiments, Sinks 노드 포함)
• Graph의 재구성성을 node별 미시 수준 점수 r_v(·), r_e(·)로 평가
• 미시 수준 평가를 집계하여 macro-level 재현성 점수 R_k와 전체 점수 R 생성
• LLM 에이전트 파이프라인을 통한 multi-step 추론으로 장문 기술 문서에서 구조적 절차 정보 추출
• ReScience C 데이터셋을 benchmark로 사용하여 LLM 평가 결과와 human-validated 재현성 연구 비교
• 다양한 LLM 모델과 온도 설정에서 일관성 검증 수행

Originality

• 기존 도메인 특화 방식에서 벗어난 도메인 무관적 구조적 추론 기반 재현성 평가 프레임워크 제시
• 절차적 워크플로우 그래프 추출을 통한 문서 수준 재현성 평가의 형식화
• 가장 규모가 큰(213개 논문) cross-domain 재현성 benchmark dataset 구성 및 공개
• Agentic 시스템을 피어 리뷰 프로세스에 실제 적용 가능한 형태로 구체화

Limitation & Further Study

• 현재 61% 정확도는 완전 자동화를 위해서는 부족하며 human review를 완전히 대체할 수 없음
• ReScience C 데이터셋은 이미 재현성을 검증한 논문들로 구성되어 실패 케이스의 탐지 능력 평가 제한
• 계산 비용과 LLM API 호출 비용에 대한 실제 운영 가능성 미분석
• 후속 연구: (1) 다양한 학술지(arXiv, 일반 저널)의 논문에 대한 평가 확대, (2) 재현성 평가와 실제 재현 시도의 상관관계 정량화, (3) 도메인별 성능 불균형 개선, (4) 에러 분석을 통한 에이전트 파이프라인 최적화

Evaluation

총평: ARA는 확장 가능한 피어 리뷰 지원을 위한 실용적 솔루션을 제시하며, 최대 규모의 cross-domain 재현성 벤치마크를 구축하고 우수한 성능을 입증했다. 도메인 무관적 구조적 추론 기반의 참신한 접근과 높은 신뢰성으로 과학 재현성 평가 분야의 중요한 진전을 이루었다.