AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

Motivation

• Known: LM agent(AI co-scientist)를 이용해 hypothesis generation부터 experiment execution까지 과학 연구 과정을 자동화하려는 연구가 활발하며, ablation은 method의 각 구성요소 기여도를 검증하는 핵심 메커니즘으로 알려져 있다. AbGen과 같은 선행 연구는 사람이 가공한 논문 요약을 입력으로 ablation을 제안하고 human expert가 평가하는 방식으로 ablation planning을 다루었다.
• Gap: 기존 연구(AbGen)는 수작업으로 전처리된 단일 논문 요약을 입력으로 사용하고 human 평가에 의존하여, raw paper로부터 완전 자동화된 ablation planning 및 평가는 다뤄지지 않았다. 또한 저자 관점뿐 아니라 리뷰어가 누락된 ablation을 찾는 상호보완적 관점은 기존 벤치마크에서 다루어지지 않았다.
• Why: 과학적 기여도(특히 방법론 구성요소의 타당성)를 검증하는 ablation 실험 설계 능력은 AI co-scientist의 핵심 역량인데, 이를 raw 논문 텍스트로부터 완전 자동으로 평가할 수 있는 표준화된 벤치마크와 자동 평가 체계가 없었다는 점에서 본 연구는 중요한 인프라를 제공한다.
• Approach: raw 논문 텍스트(method section 또는 전체 제출본)만을 입력으로 사용해 LM planner가 ablation plan을 생성하도록 하고, ground-truth 라벨(논문 원본 ablation 또는 공식 리뷰에서 언급된 누락 ablation)과 비교하는 LM-based judge를 통해 자동 평가하는 접근을 취한다.

Achievement

Figure 3. Recall@5 performance for AuthorAblation of each

1. AblationBench 벤치마크 구축: AuthorAblation(83개 논문, 14개 conference, 230개 human-annotated ablation)과 ReviewerAblation(350개 ICLR submission과 공식 리뷰) 두 태스크로 구성된 최초의 완전 자동화 ablation planning 벤치마크를 제시했다.
2. LM-based judge 개발 및 검증: 두 태스크 각각에 대해 gold label 대비 생성 계획을 평가하는 LM judge를 설계하고, held-out human-annotated 평가 데이터로 judge의 정확도를 정량 검증했다.
3. baseline planner 성능 규명: frontier LM과 agent 기반 planner(SWE-agent 기반)를 baseline으로 평가한 결과, 최고 성능 시스템도 평균 45%의 원본 ablation만 식별했고, AuthorAblation 서브셋에서 human F1 0.65 대비 모델 최고 F1 0.42로 인간 수준에 미달함을 보였다.
4. author-reviewer 역전 현상 발견: 두 태스크 간 성능이 반대 경향을 보이는 것을 관찰하고 이를 model grounding 차이로 설명했으며, agent 기반 접근보다 chain-of-thought prompting이 더 우수함을 분석했다.

How

Figure 3. Recall@5 performance for AuthorAblation of each

• AuthorAblation: 14개 conference에서 83개 논문을 수집하고 method section과 원본 ablation 실험(230개)을 human-annotation으로 추출
• ReviewerAblation: 2023-2025년 ICLR submission 중 ablation을 언급한 350개 논문과 공식 리뷰를 수집해 누락된 ablation을 gold label로 사용
• 두 태스크 각각에 대해 PaperBench의 judge 설계에서 영감을 받아 LM judge를 구성, 생성된 plan과 gold ablation 간 매칭 여부를 판정 (Recall@5 등 지표 사용)
• baseline "planner"로 LM(직접 prompting, chain-of-thought 포함)과 Agent(SWE-agent 기반) 두 종류를 비교 평가
• 일부 subset(AuthorAblation 10개)에 대해 human 성능을 별도로 측정해 모델과 비교
• judge의 신뢰성을 검증하기 위해 held-out human-annotated 평가셋으로 judge 정확도 정량 분석

Originality

• 기존 ablation planning 연구(AbGen)가 수작업 전처리 입력과 human 평가에 의존한 것과 달리, raw 논문 텍스트로부터 완전 자동화된 파이프라인(생성+평가)을 구축한 최초 시도
• 저자(author) 관점과 리뷰어(reviewer) 관점이라는 상호보완적 두 태스크를 동시에 정의하여 ablation planning을 다각도로 조망
• LM-based judge를 각 태스크에 맞게 설계하고 held-out human annotation으로 judge 자체의 신뢰도를 정량 검증한 점
• author-reviewer 태스크 간 성능 역전 현상을 model grounding 관점에서 해석하고, agent 기반 접근보다 CoT prompting이 우수함을 실증적으로 규명

Limitation & Further Study

• 벤치마크 규모가 AuthorAblation 83개, ReviewerAblation 350개로 상대적으로 작아 통계적 일반화에 한계가 있을 수 있음
• LM-based judge 자체의 편향(positional, intra-model, contextual bias 등)이 완전히 배제되지 않았을 가능성이 있으며, judge 검증도 held-out 일부 데이터에 국한됨
• human 성능 비교가 AuthorAblation의 10개 서브셋에서만 이루어져 표본이 제한적임
• empirical AI(ML, CV, NLP) 도메인에 국한되어 있어 타 과학 분야로의 일반화는 검증되지 않음
• 후속 연구로는 더 큰 규모의 벤치마크 확장, judge 편향 완화 기법 적용, 다양한 도메인으로의 확장, ablation 실행(코드 작성 및 결과 수집) 단계까지 포함한 end-to-end 평가가 필요함

Evaluation

총평: AI co-scientist 평가에서 상대적으로 소외되었던 ablation planning이라는 핵심 능력을 raw 논문 기반의 완전 자동화 파이프라인으로 정식화하고 신뢰성 있는 LM judge까지 함께 제공한 실용적이고 시의적절한 벤치마크 연구이다. 다만 데이터 규모와 judge의 편향 가능성은 향후 확장을 통해 보완될 필요가 있다.