SENPAI: Self-ExperimentatioN for Physical AI An Observability-Based Research Harness

Motivation

• Known: LLM agent 기반 자율 연구 시스템(The AI Scientist, AI Scientist-v2, Agent Laboratory, Jr. AI Scientist 등)은 문헌 탐색, 가설 제안, 코드 편집, 실험 실행, 보고서 작성이 가능함을 보여주었고, Kosmos, AiScientist, Grounded autonomous research 등은 long-horizon agent가 모델 컨텍스트 외부에 상태를 저장해야 함을 인식하고 각기 다른 substrate(내부 구조화 메모리, File-as-Bus 워크스페이스, 재실행 가능 시뮬레이션 아티팩트)를 선택했다.
• Gap: 기존 시스템들은 agent가 효과적인 실험을 수행할 수 있는지에 초점을 맞췄지만, 수백~수천 개의 실험이 누적되는 규모에서 연구자가 그 연구 프로그램 전체를 이해·감사·비교·복구·조정할 수 있는지의 문제, 즉 장기간 다수 실험 ML 연구 상태를 어떻게 표현해야 하는지는 다루지 않았다.
• Why: CFD surrogate 모델 개발은 아키텍처, 최적화, 손실함수, 정규화, 물리 인지적 고려사항 등 ML 전문성과 유체역학 도메인 지식을 모두 요구하는 니치 역량인데, 많은 엔지니어링 팀은 이를 갖추지 못하므로, 연구자가 감시하고 조정할 수 있는 반자율 연구 시스템은 실질적 엔지니어링 워크플로에 CFD surrogate 도입을 가속화할 수 있다는 점에서 중요하다.
• Approach: SENPAI는 GitHub 기반 pull request/git history와 Weights & Biases 기반 experiment tracker를 authoritative state로 삼는 얇은 Advisor/Student 2역할 harness를 구축하고, Advisor가 문헌 탐색 및 현재 ledger를 바탕으로 가설을 draft PR로 제안하면 GPU 기반 Student가 이를 구현·실행·보고하는 루프를 반복한다.

Achievement

Figure 4. Evolution of DrivAerML surface-pressure test error across two SENPAI campaigns. Faded markers show individual

1. 관측 가능한 연구 상태(observable research state): PR, commit, experiment-tracker run에 실험 상태를 기록해 agent와 연구자 모두가 조회 가능한 ledger를 생성하는 SENPAI harness를 제안했다.
2. CFD recipe search 성능 향상: Transolver 계열 baseline에서 출발해 DrivAerML의 surface/volume-pressure 및 wall-shear-stress relative-L2 오차를 비교 대상 중 최고 수준으로 개선했고, AirfRANS surface-MSE를 모든 비교 참조보다 낮췄으며, TandemFoilSet cruise-random-uniform split에서 보고된 벤치마크보다 낮은 normalized full-field MSE를 달성했다.
3. 대규모 실패 모드 분석: 24시간 fleet trace(53,022회 Claude 요청, 5.24B 토큰)를 분석해 주요 실패 원인이 과학적 추론의 실패가 아니라 monitor 유발 context bloat, 취약한 tool interface, checkpoint/결과 캡처 공백, 상태 재조정(state reconciliation) 문제임을 규명했다.

How

Figure 2. SENPAI deployment architecture. A thin harness de-

• Advisor가 현재 experiment ledger를 읽고 literature-search sub-agent를 선택적으로 호출해 가설을 담은 draft PR을 열고 GPU 기반 Student에게 할당
• Student가 라벨링된 PR을 claim하여 branch를 수정, experiment-tracker 로깅과 함께 훈련을 실행, 결과를 PR 코멘트로 보고
• Advisor가 결과를 검토해 merge, 수정 요청, 또는 연구 방향 종료를 결정
• 연구자는 GitHub issue나 PR 코멘트를 통해 Advisor/Student를 조정(steer) 가능
• markdown scratchpad는 authoritative state가 아닌 보조 캐시로만 사용되며, PR·git history·experiment tracker(Weights & Biases)가 실제 기록의 원천 역할
• DrivAerML, AirfRANS, TandemFoilSet 세 CFD-surrogate 데이터셋에 대해 다수의 concurrent Student(최대 59개)로 다일 규모 반자율 연구 프로그램을 실행하여 3,000개 이상 PR, 11,000개 이상 experiment-tracker run 생성

Originality

• LLM 기반 자율 연구 시스템 분야에서 기존 연구(The AI Scientist류)가 agent 내부 메모리나 자체 아티팩트 저장소에 상태를 두는 것과 달리, ML 팀이 이미 사용하는 MLOps 도구(PR, git, experiment tracker)를 authoritative system of record으로 채택하는 새로운 시스템적 입장을 제시
• 자율 연구의 "얼마나 잘 실험하는가"가 아니라 "대규모로 축적된 실험 프로그램을 연구자가 어떻게 감사·복구·조정할 수 있는가"라는 substrate 문제에 초점을 맞춘 점이 차별적
• 실제 대규모(3,000+ PR, 11,000+ run, 59 concurrent agent) 반자율 연구 운영 경험과 실패 모드 분석(토큰/요청 단위)을 공개한 실증적 기여

Limitation & Further Study

• 특정 도메인(CFD surrogate recipe search)에 한정되어 평가되었으며, task-agnostic이라 주장하나 다른 과학 도메인에서의 일반화 가능성은 실증되지 않음
• GitHub와 Weights & Biases라는 특정 툴 조합에 의존하는 구현으로, 다른 MLOps 스택으로의 이식성 및 오버헤드가 충분히 논의되지 않을 가능성
• Advisor/Student 루프의 품질이 근본적으로 기반 LLM(Claude 등)의 능력에 의존하므로, 모델 성능 변화에 따른 결과 재현성·일반화가 불확실
• 논문 발췌만으로는 정량적 비교 baseline 및 통계적 유의성 검증, ablation 세부사항이 충분히 드러나지 않아 추가 검증 필요
• 후속 연구로는 다양한 과학 도메인(화학, 재료 등)으로의 확장, 실패 모드 완화를 위한 tool interface 견고성 개선, 다중 harness 간 성능 비교 연구가 필요

Evaluation

총평: 자율 ML 연구 시스템의 상태 표현 문제를 기존 MLOps 인프라(PR, git, experiment tracker)로 해결한다는 참신한 시스템적 관점과, 실제 대규모 CFD surrogate 실험을 통해 이를 실증한 점에서 실용적 기여가 크지만, 평가가 단일 도메인에 국한되고 특정 툴 스택 의존성이 있어 일반화 검증은 추가로 필요하다.