Grounded autonomous scrutiny at scale: emergent critique from reproduction of published computational physics papers

Motivation

• Known: 최근 연구들은 autonomous LLM agent가 machine-learning sandbox 환경에서 아이디어 도출부터 코딩, 실험 실행, 분석, 논문 작성까지 전체 연구 라이프사이클을 수행할 수 있음을 보였고, DFT-agent 시스템들은 사람이 지정한 태스크에 대한 실행 레이어로 사용되어 왔다.
• Gap: 기존 연구는 machine learning sandbox처럼 재실행 가능한 물리적 ground truth가 없는 환경에 국한되거나, 논문을 읽는 것만으로 오류를 지적하는 텍스트 기반 비판(critique)에 머물렀으며, 실제 first-principles 계산을 자체적으로 실행해 published computational physics 논문을 grounded하게 재현하고 검증하는 agent는 없었다.
• Why: 과학 연구에서 의미 있는 새로운 작업은 대부분 기존 핵심 논문의 재현에서 출발하므로, autonomous agent가 read-plan-compute-compare 루프를 통해 grounded scrutiny(실행에 기반한 감사)를 수행할 수 있는지는 AI가 실제 과학 연구 루프의 첫 단계를 자율적으로 수행할 수 있는지를 가늠하는 핵심 시험대이다.
• Approach: 단일 Claude Opus 4.6 구성을 Claude Code CLI 위에서 실행해, QE(Quantum ESPRESSO) 및 Wannier90을 직접 shell로 호출하도록 하고, 도구 래퍼나 MCP 서버 없이 111편 논문에 대한 대규모(scale) 실행과 1편 논문에 대한 심층(in-depth) 실행 두 가지 상보적 스코프에서 실험을 수행했다.

Achievement

Figure 2. The Reproduce–Review–Reflect pipeline applied to Pizzi 2016. (a) Three-stage flow: Reproduce (human–agent veri

1. 재현 품질: 571개 정량 claim 중 75.8%를 published 값의 5% 이내로, 83.2%를 10% 이내로 재현했으며 median 편차는 0.9%; 111편 중 6편이 T4(정확 재현), 110편 중 90.9%가 T3 이상 도달.
2. 실행 기반 critique의 발현: 111편 중 ~42%(47편)에서 프롬프트로 요청되지 않은 실질적 방법론적 문제를 자발적으로 제기했고, 88개 critique 중 85개(96.6%)가 계산 실행 후에만 드러났으며 reading-only로는 1.8%만 발견 가능했다.
3. 지식 파일 ablation: QE command idiom과 pseudopotential 선택 휴리스틱을 담은 두 개의 소형 지식 파일을 추가함으로써 false refusal(능력 있음에도 "불가능"이라 선언하는 현상)을 제거하고 phonon workflow 시도율을 20%→33%로 확대시킴을 15편 대상 controlled ablation으로 입증.
4. 심층 사례 연구: Pizzi 2016 Nature Communications 2D-material MOSFET 논문에 대해 검증된 multi-code reproduction 파이프라인을 물려받은 새 에이전트가 14개 물리적 우려사항 인벤토리와 완전한 6페이지 제출형 Comment를 자체 작성·조판하여 L_G=5nm 헤드라인 결론을 수정했고, 이 중 두 개의 핵심 공격(source-degeneration contact-resistance bound, Sb-doping degradation ratio)이 출판된 21인 peer review에는 없었음을 보였다.

How

Figure 3. Review ↔referee overlap and Reflect-stage refinement. Top: sparse 14 × 21 overlap matrix, rows = Review concer

• Claude Code CLI를 agentic orchestrator로, Claude Opus 4.6을 기반 모델로 사용해 bash를 통해 QE, Wannier90, 자체 작성 Python 분석 스크립트를 실행
• MCP 서버나 라이브러리 래퍼 없이 harness를 구성해 모델의 unaided 능력을 정직하게 측정
• Scale 모드: Python outer loop가 111편 open-access QE 논문(2010-2024, 12개 저널군)을 순회하며 매 논문마다 fresh agent에게 고정된 boilerplate 프롬프트와 QE/Wannier90 지식 envelope를 제공, load→plan→compute→compare→verdict의 4단계 수행, per-paper 2-4시간의 soft time cap 적용
• 재현 품질을 T1(실패)~T4(정확) 4단계로 채점, in-scope claim은 agent가 스스로 verdict에서 선언
• Full trace analysis(Appendix G)로 세션 행동 패턴(재읽기 빈도, context compaction 시 대응, 시각 출력 재검토 여부) 분석
• Critique를 phase A(reading 중)~D(cross-validation 후) 4단계로 분류해 실행 의존성을 정량화
• In-depth 모드: 검증된 재현 파이프라인을 물려받은 단일 fresh agent가 하나의 세션에서 물리적 우려사항 인벤토리 작성, 원 논문이 수행하지 않은 세 종류의 새로운 계산 실행, 6페이지 Comment를 구성·도식화·조판·PDF 반복 수정까지 전 과정을 자율 수행
• 최종적으로 agent의 critique와 실제 출판된 21인 peer review 보고서 간의 중첩(overlap)을 비교 분석

Originality

• machine-learning sandbox를 넘어 재실행 가능한 first-principles 물리 계산이라는, 훨씬 엄격한 ground truth를 가진 도메인에서 autonomous agent의 전 주기적 연구 행위(reproduction+critique)를 시험한 최초의 시도
• critique가 reading이 아닌 execution에서 발현된다는 것을 111편 규모의 통계와 phase 분류(A-D)로 정량적으로 입증한 점이 독창적
• MCP나 도구 래퍼 없이 "naked" agentic harness를 사용해 모델 고유 능력과 harness 효과를 분리(지식 파일 ablation)한 실험 설계
• 단순 텍스트 기반 오류 지적을 넘어, 모든 numerical claim이 agent 자신이 실행한 계산으로 뒷받침되는 완전한 제출형 Comment를 생성했다는 점, 그리고 이를 실제 출판된 peer review와 직접 대조해 agent가 human referee가 놓친 지점을 찾아냈음을 보인 점

Limitation & Further Study

• 단일 모델(Claude Opus 4.6) 및 단일 도메인(Quantum ESPRESSO/DFT 생태계)에 국한되어 일반화 가능성이 제한적이며, 다른 LLM이나 다른 계산물리 소프트웨어 생태계(예: VASP, LAMMPS)에서도 유사한 결과가 재현되는지 검증 필요
• 42%의 critique 발생률과 제기된 우려사항들의 실제 타당성(정확성) 자체에 대한 독립적 전문가 검증이 본문 발췌에서 충분히 제시되지 않음
• agent가 시각 출력(figure)을 스스로 재검토하지 않는 open-loop 특성(61개 세션 중 0건)은 향후 self-correction loop 도입이 필요함을 시사
• 심층 사례가 단 1편(Pizzi 2016)에 그쳐 일반적 결론을 내리기에는 사례 수가 제한적이며, 다양한 하위분야(재료, 소자, 촉매 등)로 확장한 후속 연구가 필요
• "재현된 verified pipeline을 물려받은" 조건에서만 심층 critique가 이루어졌으므로, 완전히 처음부터(cold start) 진행했을 때도 동일한 심층성이 나오는지는 불명확

Evaluation

총평: Autonomous LLM agent가 실제 computational physics 논문을 first-principles 계산으로 재현하며 실행 기반의 실질적 critique를 자발적으로 생성한다는 것을 대규모·심층 두 스코프에서 설득력 있게 보여준 흥미로운 연구이며, AI-for-Science 및 자동화된 peer review/재현성 검증의 미래 방향에 중요한 시사점을 제공한다.