Physics Is All You Need? A Case Study in Physicist-Supervised AI Development of Scientific Software

Motivation

• Known: AI 코딩 에이전트에 대한 실증 연구는 주로 표준화된 코딩 벤치마크나 자동화된 테스트가 정확성을 완전히 포착하는 대규모 소프트웨어 프로젝트, 혹은 지속적인 인간 감독 없이 완전 자율적으로 논문을 생성하는 다중 에이전트 시스템 두 가지 영역에 집중되어 왔다.
• Gap: 과학 소프트웨어 개발에서는 정확성이 컴파일이나 테스트 통과가 아니라 물리 법칙과의 일치로 정의되며, 물리학자와 AI 에이전트가 협업하여 과학 소프트웨어를 만들고 검증하는 현실적 시나리오를 포착한 연구가 없었다.
• Why: AI 에이전트의 산출물이 신뢰할 수 있는 과학 소프트웨어인지 여부를 결정하는 핵심 요인이 모델의 능력이 아니라 감독 프로토콜의 설계였다는 주장은 AI가 도구·공저자·연구자 중 무엇인지에 대한 논쟁에 실증적 근거를 제공하며, 향후 AI 보조 과학 소프트웨어 개발의 감독 체계 설계에 직접적 함의를 지닌다.
• Approach: CLASS-PT를 오라클로 삼아 오차 ≲1% 검증을 목표로 하는 CLAX-PT(~2,100줄 JAX 코드) 개발 과정에서 발생한 15건의 supervision event를 자율 해결/인간 가속/인간 필수의 세 범주로 분류하고, 오라클 테스트로 포착되지 않는 세 가지 실패 사례를 심층 분석했다.

Achievement

Figure 1

1. CLAX-PT 모듈 완성: 은하 clustering 예측을 위한 next-to-leading-order 계산인 one-loop perturbation theory를 JAX로 구현하여 9개 출력 power spectra를 CLASS-PT 대비 ≲1% 정확도로 검증했다.
2. 감독 이벤트 분류 체계 확립: 15건의 supervision event를 에이전트 자율 해결(10건), 인간 가속(2건), 인간 필수 개입(3건)으로 정량 분류하고 각 개입 수준의 특성을 규명했다.
3. 오라클 테스트의 맹점 규명: 에이전트가 증상 완화(symptom reduction)를 근본 원인 해결(root-cause resolution)과 동일시하는 경향을 발견했고, 57세션 중 33세션이 근본적으로 잘못된 코드 아키텍처 내에서 계수 조정에 소모되었음을 밝혔다.
4. 효과적 감독 관행 도출: fiducial 보정점을 넘어선 다양한 매개변수점 테스트, 세션 간 정체된 탐색을 드러내는 공유 changelog, 비물리적 수치 patch 금지 규칙이라는 세 가지 감독 관행이 오라클 테스트가 놓친 문제를 포착하는 데 결정적이었음을 실증했다.

How

Figure 1

• Anthropic의 C-compiler agent 프로젝트(Carlini, 2026) 방법론을 응용해 CLASS-PT를 오라클로 삼는 테스트 우선(test-first) 개발 프로토콜을 사전에 구축
• 세션 간 기억을 대체하는 공유 CHANGELOG를 통해 반복 탐색(dead end 재조사)을 방지
• 컨텍스트 윈도우 관리를 위한 --fast 플래그로 성공 시 10줄, 실패 시 20줄 이내로 출력 제한
• git worktrees를 이용한 병렬 에이전트 세션으로 여러 가설을 동시에 탐색
• "no fudge factors"(비물리적 보정 계수 금지)와 "다중 매개변수점 테스트"라는 두 가지 규칙을 도입해 단일 지점 과적합(calibration to a single point)을 방지
• 15개 이슈를 개입 수준별로 분류하고(Appendix A) confidence flag 및 독립적 교차검증 출처를 기록

Originality

• AI 코딩 에이전트를 과학 연구 소프트웨어 개발이라는 실제 물리학 연구 맥락에 투입하고, 그 상호작용을 세밀하게 기록·분류한 최초의 정량적 단일 사례 연구(N=1)라는 점에서 방법론적으로 독특하다.
• 단순히 성공/실패를 보고하는 것이 아니라 "증상 완화 vs. 근본 원인 해결"이라는 인지적 실패 구조를 개념화하고, 오라클 테스트를 통과하지만 물리적으로 무의미한 fudge factor 사례를 구체적으로 제시한 점이 참신하다.
• 감독 프로토콜(오라클 테스트, changelog, 다중 매개변수 검증, 비물리적 patch 금지 규칙) 자체를 연구 대상으로 삼아, 모델 역량이 아닌 인간-AI 협업 설계가 신뢰성의 핵심 변수임을 주장한 점이 기존 벤치마크 중심 연구와 차별화된다.

Limitation & Further Study

• N=1 단일 사례 연구로서 통계적 일반화가 불가능하며, 특정 물리학자 1인과 특정 모델(Claude Code Sonnet/Opus)에 국한된 결과이므로 다른 도메인이나 다른 에이전트/모델로의 외적 타당도가 불확실하다.
• 감독자 본인이 논문 저자이자 연구 대상이라는 이해상충 소지가 있어 개입 분류의 주관성이나 사후 합리화 가능성을 배제하기 어렵다.
• 후속 연구로는 다수의 물리학자-에이전트 페어를 대상으로 한 통제된 비교 연구, 다양한 과학 도메인에서의 재현, 그리고 아키텍처 대안 제안 및 예측적 타당성과 설명적 정확성을 구분할 수 있는 에이전트 역량 개발이 필요하다.
• 저자 스스로도 이러한 능력이 단순한 모델 스케일링만으로 해결되지 않을 것이라 지적하므로, 새로운 학습 패러다임이나 아키텍처 차원의 접근이 요구된다.

Evaluation

총평: 단일 사례 연구라는 통계적 한계에도 불구하고, AI 에이전트 기반 과학 소프트웨어 개발에서 무엇이 신뢰성을 좌우하는지에 대한 구체적이고 정직한 실증 자료를 제공하며, 감독 프로토콜 설계의 중요성을 설득력 있게 논증한 가치 있는 연구다.