Propose, Critique, Falsify: Benchmarking Self-Verifying AI Scientists

Motivation

Known: AI Scientist, AI co-scientist 등 자율적으로 과학적 가설을 생성하는 시스템들이 빠르게 발전하고 있으며, multi-agent debate나 critique 구조가 LLM의 factuality나 reasoning을 향상시킬 수 있다는 연구들이 존재한다. 또한 LLM의 self-correction/self-refinement가 외부 피드백 없이는 효과적이지 않다는 부정적 결과들도 보고된 바 있다.
Gap: 기존 연구들은 AI 과학자의 가설 생성(generation)에 집중했을 뿐, 생성된 주장이 배포되기 전 체계적으로 검증(verification)되는지, 그리고 multi-agent 검증 파이프라인이 실제로 false discovery rate를 줄이는지에 대해서는 거의 연구되지 않았다.
Why: 검증되지 않은 AI 생성 과학 주장이 확산될 경우 재현성 위기를 완화하기는커녕 오히려 증폭시킬 위험이 있으므로, multi-agent 검증 아키텍처의 신뢰성을 실증적으로 평가하는 것은 자율 AI 과학 시스템의 안전한 도입에 중요하다.
Approach: 저자들은 세 가지 알려진 ground truth 도메인(SciFact 기반 생의학 주장 검증, 통제된 통계 실험, 과학적 참신성 평가)과 다섯 개의 frontier급 LLM에 대해 single-agent, self-refine, 3-agent debate, PCF 네 가지 조건을 비교하는 PCF 벤치마크를 제안한다.

Figure 2. False discovery rate across conditions. “—” an-

PCF 벤치마크 구축: 세 도메인에 걸쳐 ground truth와 confusion matrix(Uncertain 포함)를 보고하는 다중 에이전트 과학적 주장 검증 벤치마크를 제시했다.
conservatism-as-abstention 발견: PCF 파이프라인이 단순한 sensitivity-specificity trade-off가 아니라, 모델이 분류를 회피하고 Uncertain 판정을 남발하는 새로운 실패 양상을 유발함을 규명했다. 예: GPT-4o의 SciFact 정확도가 1.00에서 0.20으로 하락, 20개 중 16개가 Uncertain으로 분류됨.
모델 의존적 오류 방향성 규명: 동일한 PCF 조건 하에서 Claude Sonnet 4와 GPT-4o는 과잉보수적이 되는 반면, GPT-5.4는 과잉허용적(FDR=0.75)이 되어 거의 모든 주장을 Valid로 라벨링함을 보였다.
self-refinement의 부정적 효과 재확인: 반복적 self-refinement가 모든 테스트 모델에서 일관되게 false discovery rate를 증가시킴을 실증적으로 확인, 기존 연구(Huang et al., 2024; Tyen et al., 2024)를 확장했다.

Figure 1. Accuracy with 95% Wilson confidence intervals

Proposer-Critic-Verifier(Falsifier) 3역할 구조: Proposer는 초기 평가를 생성하고, Critic은 최대한 회의적으로 결함과 대안 설명을 찾아 반박하며, Verifier는 양쪽 정보를 바탕으로 최강의 반증 테스트를 설계하여 최종 판정(Valid/Invalid/Uncertain)을 내림
세 평가 도메인: (1) SciFact 기반 20개 생의학 주장(모두 Support 라벨), (2) 5개 유효 vs 15개 혼란/영효과의 합성 통계 실험(3:1 비율로 FDR 직접 평가), (3) 7개 참신 vs 13개 기존 발견의 과학적 참신성 평가
네 가지 실험 조건 비교: Single-Agent, Self-Refine(2회 반복), 3-agent Debate(대칭적), same-model PCF(비대칭적 역할)
평가 지표: 정확도(95% Wilson confidence interval 포함), false discovery rate, uncertain rate(비율)를 다섯 개 frontier LLM(Claude Sonnet 4, GPT-4o, GPT-5.4 등)에 걸쳐 측정

기존 multi-agent debate/critique 연구가 대칭적 구조나 사실성(factuality) 향상에 초점을 맞춘 것과 달리, 과학적 방법론에서 영감을 받은 비대칭적 역할(Proposer-Critic-Falsifier)을 설계하여 false discovery rate라는 구체적 지표로 검증 파이프라인 자체의 신뢰성을 평가
POPPER(Huang et al., 2025)가 특정 가설에 대한 순차적 반증에 초점을 둔 것과 달리, PCF는 범용 검증 파이프라인으로서의 성능을 평가
"conservatism-as-abstention"이라는 새로운 실패 모드를 명명하고, 이것이 단순 sensitivity-specificity trade-off와 구별됨을 실증적으로 규명한 점, 그리고 오류 방향이 모델별로 상반된다는 발견이 독창적

각 도메인의 인스턴스 수가 20개로 매우 적어 통계적 검정력이 제한적이며, 특히 SciFact 도메인은 Contradict 인스턴스가 없어 FDR을 아예 측정할 수 없는 근본적 한계가 있음
다섯 개 모델 중 완전한 네 조건 결과는 Claude Sonnet 4와 GPT-4o에 대해서만 제공되어 다른 모델들과의 비교가 불완전함
왜 GPT-5.4만 과잉허용적으로 반응하는지에 대한 메커니즘적 설명(예: RLHF 정책 차이, 프롬프트 해석 차이)이 충분히 규명되지 않음
후속 연구로 더 큰 규모의 데이터셋, 더 다양한 과학 도메인(예: 실제 논문 리뷰), 그리고 Uncertain 판정을 강제로 배제하지 않으면서도 calibration을 개선하는 파이프라인 설계 연구가 필요함