The Socratic Scientist: Designing LLM Agentic Harness for Long-Running Computational Science

Motivation

• Known: 기존 AI scientist 하네스들(Lu et al., Yamada et al., Nathani et al., M. Bran et al.)은 수 분 내에 끝나는 아이디어 발상, 벤치마크 반복, 소규모 가역 실험 등 짧고 저위험의 피드백 루프에 최적화되어 있으며, AgentSPEX나 ReAct 같은 반응형 컨트롤러는 에이전트를 빠른 폐루프 의사결정자로 취급한다.
• Gap: 계산 물리과학(예: 분자동역학 시뮬레이션)은 단일 스테이지가 수시간~수일간 공유 HPC 큐에서 실행되고, 캠페인이 여러 세션과 인간 핸드오프에 걸쳐 있으며, 방법론적 오류를 늦게 발견하면 수일치 연산이 소실될 수 있어 기존 하네스의 전제를 완전히 깨뜨린다. 또한 El Agente, ChemGraph, hierarchical multi-agent reasoners 등 최근 시스템들도 프로젝트 단위 HPC 캠페인으로 확장했지만, 어떤 전환이 인간 재승인을 요구하는지, 중간 캠페인 방법 변경을 어떻게 기록하는지, 하위 단계를 소실 없이 무효화하는 방법 등 거버넌스 계약 자체는 여전히 불명확하다.
• Why: 긴 wall-clock 시간에 걸친 내구성 있고 감사 가능한 실행 능력은 AI 과학자를 HPC 연구실에서 신뢰할 수 있는 협업자로 배치하기 위한 필수 요건이며, 이는 단순히 실험을 제안하는 능력을 넘어 명시적이고 검증 가능한 계약을 시간에 걸쳐 유지하는 능력으로의 패러다임 전환을 요구하기 때문에 중요하다.
• Approach: 논문은 Specify(Socratic 사전 대화로 실행 계약 도출)-Persist(workflow-state.json, progress.log, init.sh 세 파일로 전체 상태를 디스크에 영속화)-Dispatch(clean-context subagent가 DPDispatcher를 통해 Shell/Slurm/PBS/LSF/Bohrium 등 이기종 백엔드에서 결정론적 검증을 거쳐 실행)라는 세 기둥으로 구성된 durability contract를 Claude Code 플러그인 형태의 열 개 스킬 하네스로 구현한다.

Achievement

Figure 2. Three end-to-end MD campaigns. Panels A and B are completed runs; Panel C is the in-design Bayesian-optimizati

1. Superscientist 하네스 설계: Design→Plan→Execute→Verify→Complete의 다섯 단계 파이프라인을 구현하는 일곱 개 phase skill과 session-resume, systematic-debugging, checkpoint-management의 세 개 cross-cutting skill로 구성된 열 개의 Markdown 기반 스킬 하네스를 제시했다.
2. 세 파일 durability 기반 구조 구현: workflow-state.json(스테이지 DAG·성공 기준·amendment 기록), progress.log(ISO-8601 타임스탬프의 append-only 로그), init.sh(멱등적 환경 부트스트랩)를 통해 숨겨진 인메모리 상태 없이 세션에 구애받지 않는 복구가 가능함을 보였다.
3. 세 가지 end-to-end MD 캠페인 실증: Green–Kubo 방법을 통한 폴리머 용융물 점도(η = 16.02±0.44 LJ units) 계산, 두 세션에 걸쳐 mid-campaign method amendment를 거친 3C-SiC의 NEMD 기반 열전도도 계산, 서열 특이적 폴리머에 대한 Bayesian optimization 설계 캠페인을 통해 세션 간 재개, 실패 복구, 원칙적 개입이 견고하게 이루어짐을 입증했다.
4. Dispatch pillar의 이식성 검증: 동일한 radius-of-gyration 워크플로우가 local Shell, Slurm-GPU, Slurm-MPI 세 백엔드에서 Rg = 4.847/4.798/4.903 σ(오차범위 SEM 내)로 일관된 결과를 산출함을 보여 백엔드 독립성을 실증했다.

How

Figure 1. Superscientist as a harness of ten skills over three persistent checkpoint artifacts. Socratic human-in-the-lo

• experiment-design 스킬이 한 번에 하나씩 질문하는 Socratic 대화를 통해 물리량, 방법, 스테이지별 성공 기준, 방법 적용 가능성 가정을 도출하고, 검증 불가한 항목은 [UNVERIFIED]로 태그하여 게이트 종료 전 해결하도록 강제한다.
• 사양(spec)은 verbal approval과 persisted spec에 대한 written approval의 이중 레이어 승인을 거쳐 git에 커밋되고 workflow-state.json의 stub이 생성된다.
• 정의적 변경(파라미터, 성공 기준, 스테이지 의존성 등)은 amendment protocol(제안→사용자 승인→버전 증가→amendment record 추가→하위 스테이지 invalidated 표시)을 통해서만 이루어지며, invalidated 상태는 삭제가 아니라 progress.log에 가시적으로 남는 first-class 상태로 취급된다.
• 각 스테이지는 Claude Agent SDK를 통해 스폰된 clean-context subagent에서 실행되며, 상태·로그·계획 중 필요한 항목만 읽어 hidden inheritance를 제거한다.
• 컴퓨팅은 DPDispatcher를 통해 Shell/Slurm/PBS/LSF/Bohrium에 통합 제출되고, 비동기 모드에서는 tmux wrapper가 완료 시 DPDISP_DONE 마커를 남겨 세션이 끊겨도 이후 재개가 가능하다.
• 검증은 성공 기준 수치·파일 존재·물리적 타당성 체크 등 결정론적 방식으로 수행되며, 실패 시 systematic-debugging 스킬이 자동 발동하고 재시도 소진(로컬 3회, 원격 5회) 후에만 사용자에게 에스컬레이션된다.
• 저자들은 스테이지마다 "confirm?" 형태의 세 번째 Socratic 게이트를 두지 않는 것을 의도적 설계로 논증하며, 이는 versioned state file의 감사 추적 없이 human-in-the-loop theater만 만든다고 주장한다.

Originality

• 기존 AI scientist 연구들이 아이디어 발상의 창의성에 초점을 맞춘 것과 달리, wall-clock 시간에 걸친 내구성(durability)과 감사 가능성(auditability)을 일급 속성으로 재정의한 프레이밍이 독창적이다.
• 인간-에이전트 간 상호작용을 두 개의 Socratic 게이트(사전 명세, 중간 캠페인 amendment)로 제한하고 세 번째 스테이지별 게이트를 의도적으로 배제한 설계 논증은, human-in-the-loop을 단순히 늘리는 것이 아니라 어디에 배치할지에 대한 명확한 원칙을 제시한다는 점에서 신선하다.
• DSL이나 Python 런타임 대신 자연어 Markdown 스킬로 워크플로우 로직을 표현함으로써 code-to-prompt 번역 계층에서 발생하는 silent semantic drift를 제거하려는 접근이 독특하다.

Limitation & Further Study

• 세 캠페인 중 하나(Bayesian optimization)는 "in-design" 상태로 완전히 종료되지 않아, 시스템의 견고성에 대한 증거가 제한적이다.
• 세 가지 사례 연구는 모두 저자 그룹이 설계한 특정 MD 워크플로우에 국한되어 있어, 다른 도메인(양자화학, 재료 발견 등)이나 더 복잡한 다중 사용자 시나리오로의 일반화 가능성은 검증되지 않았다.
• Socratic 게이트의 설계(두 개로 한정)가 최적인지에 대한 정량적 비교(예: 세 번째 게이트를 포함한 대조군 실험)가 부재하여, "human-in-the-loop theater" 주장은 다소 정성적 논증에 머문다.
• 후속 연구로는 더 다양한 계산과학 도메인에서의 일반화, 대규모 다중 사용자/다중 캠페인 환경에서의 확장성, 그리고 amendment protocol의 오남용(예: 과도한 재승인 요청) 방지 메커니즘에 대한 연구가 필요하다.

Evaluation

총평: AI scientist 연구의 초점을 아이디어 발상에서 장기 실행의 내구성·감사 가능성으로 전환시킨 실용적이고 시의적절한 프레임워크로, 실제 HPC MD 캠페인 사례를 통해 설득력 있게 논증되었으나 정량적 비교 평가와 도메인 일반화 검증이 더 필요하다.