FabScore: Fine-Grained Evaluation of Fabrications in Automated AI Research

Motivation

• Known: 자동화된 AI 연구 시스템은 아이디어 제안, 코드 구현, 실험 수행, 논문 작성까지 전 과정을 자율적으로 수행할 수 있는 수준으로 발전해왔다. 기존 연구들은 재현성 검증을 위한 초기 시도(Bai et al., 2026; Hu et al., 2025)를 진행했으나 세밀한 평가가 부족했다.
• Gap: 기존 재현성 검증 연구는 claim 단위의 세밀한 평가가 부족해 irreproducible 결과의 정도를 정량화하거나 구체적 원인을 파악하기 어렵고, AI 리뷰어가 코드 분석 없이 텍스트 분석에 의존해 fabrication을 놓치는 문제가 있다.
• Why: AI가 생성한 연구 결과의 무결성을 검증하지 못하면 fabrication된 결과가 학계에 유입되어 과학적 신뢰성을 훼손할 수 있으며, 자동화된 AI 연구가 확산되는 시점에서 이를 체계적으로 탐지할 도구가 시급히 필요하다.
• Approach: 연구 논문과 코드를 입력받아 coding agent가 result extraction, static analysis, code execution, verdict generation의 4단계 파이프라인을 거쳐 각 claim을 verified, data fabrication, experiment fabrication, result fabrication, no code files, insufficient evidence의 6가지 범주로 분류한다.

Achievement

1. 높은 정밀도의 fabrication 탐지 프레임워크 제안: 4단계 파이프라인과 6개 verdict 범주로 구성된 FabScore가 Claude Code를 coding agent로 사용했을 때 98.6%의 precision을 달성함.
2. 대규모 다중 소스 평가 수행: AI Scientist, MLR-Agent, FARS, Agents4Science 등 144편의 논문(6,978개 claim)에 대해 전체 claim-level fabrication rate 21.2%를 확인함.
3. 실제 학회 제출물에서 심각한 fabrication 발견: AI가 작성한 실제 학회 제출물의 70% 이상, accepted 논문의 59.3%가 fabrication을 포함함을 규명함.
4. AI 리뷰어의 한계 규명: FabScore가 탐지한 fabrication의 85% 이상이 기존 AI 리뷰어에 의해 발견되지 못함을 보여, FabScore가 AI 리뷰 프로세스의 보완 도구로 기능할 수 있음을 입증함.

How

• Result Extraction: coding agent가 논문 테이블, 결과 섹션, 그림 라벨에서 수치 결과와 라벨을 개별 claim으로 추출.
• Static Analysis: coding agent가 논문과 코드를 대조하여 방법론 불일치, 실행 로그와 보고 결과 간 모순 등을 식별하고, 명확한 경우 이 단계에서 바로 verdict 부여.
• Code Execution: 정적 분석만으로 판단 불가능한 claim에 대해 shell 환경에서 관련 실험을 직접 실행하여 결과를 검증.
• Verdict Generation: 위 단계들의 증거를 종합해 verified, data fabrication, experiment fabrication, result fabrication, no code files, insufficient evidence 중 하나의 verdict를 최종 부여.
• 인간 평가 검증: 6명의 AI 연구자가 30편의 무작위 샘플 논문에 대해 human evaluation을 수행하여 precision과 label accuracy를 검증.

Originality

• 기존의 논문 단위(paper-level) 재현성 검증과 달리 numerical claim 단위로 세밀하게(fine-grained) fabrication을 평가하는 최초의 프레임워크를 제시함.
• data/experiment/result fabrication을 구분하는 6가지 verdict 체계를 새롭게 정의하여 fabrication의 유형별 원인을 분석 가능하게 함.
• coding agent 기반의 static analysis와 code execution을 결합해 자동화된 코드 수준 검증을 수행하는 파이프라인 설계.
• AI 리뷰어와의 직접 비교를 통해 기존 AI 기반 동료 검토 시스템의 사각지대를 정량적으로 밝힘.

Limitation & Further Study

• coding agent(Claude Code 등) 자체의 판단 오류나 한계에 프레임워크의 정확도가 의존적일 수 있어, 다른 coding agent나 더 복잡한 코드베이스에 대한 일반화 검증이 추가로 필요함.
• 평가 대상이 numerical claim과 figure label에 국한되어 있어, 방법론적 서술이나 정성적 주장에 대한 fabrication은 다루지 못함.
• 144편이라는 상대적으로 제한된 샘플과 특정 AI 연구 시스템(AI Scientist, MLR-Agent, FARS, Agents4Science)에 국한된 평가로 인해 결과의 일반화 가능성에 한계가 있을 수 있음.
• 향후 연구로는 더 다양한 AI 연구 시스템과 인간 연구자 논문에 대한 비교, 그리고 텍스트 수준의 fabrication까지 포괄하는 확장된 프레임워크 개발이 필요함.

Evaluation

총평: AI 자동 연구 시스템의 신뢰성 문제를 claim 단위로 정밀하게 진단하는 실용적이고 시의적절한 프레임워크로, 실제 학회 제출물에서 놀랍도록 높은 fabrication 비율을 실증적으로 드러내 AI 연구 자동화 분야에 중요한 경고를 던진다.