The Agentic Researcher: A Practical Guide to AI-Assisted Research in Mathematics and Machine Learning

Motivation

• Known: AlphaProof, AlphaGeometry, AlphaEvolve, Aletheia와 같은 시스템들이 IMO 문제 해결이나 open problem 해결 등 AI가 수학/과학 연구에서 이룰 수 있는 성과를 보여주었고, Karpathy의 autoresearch 등 ML 실험 자동화 파이프라인도 늘어나고 있다.
• Gap: 기존 문헌은 주로 AI 시스템이 무엇을 달성할 수 있는지에 집중했을 뿐, 개별 연구자가 이러한 시스템을 일상 연구 워크플로우에 어떻게 통합해야 하는지에 대한 end-to-end 실용 가이드는 부재했다.
• Why: 연구는 고정된 목표를 따라 진행되지 않고 질문 재구성, 예상치 못한 결과에 대한 대응 등 지속적인 인간의 판단을 요구하므로, AI 통합 수준별 적절한 활용법과 검증 가드레일을 명확히 하는 것이 책임감 있는 AI 활용 연구 관행 확립에 중요하다.
• Approach: 저자들은 (I) AI 통합의 다섯 단계 taxonomy, (II) Ten Commandments라는 방법론적 규칙을 agent prompt로 구현해 CLI coding agent를 자율 연구 조수로 만드는 sandboxed open-source framework, (III) 딥러닝 및 수학 case study를 통해 실용적 가이드를 제시한다.

Achievement

Figure 2. Overview of the agentic research framework. Top: the researcher writes a persistent instruction file that gove

1. 다섯 단계 taxonomy 제시: Classical, Consultant, Typist, Collaborator, Research Associate로 AI 통합 수준을 구분하여 연구 워크플로우의 각 부분에 적합한 자동화 수준을 판단할 수 있는 실용적 프레임을 제공했다.
2. 오픈소스 자율 연구 framework 구현: Apptainer 기반 sandboxed container 안에서 Claude Code, Codex CLI, OpenCode 등 임의의 frontier LLM 기반 CLI agent를 감싸 INSTRUCTIONS.md, report.tex, TODO.md 등 구조화된 보고 체계와 함께 자율 실험 루프를 실행하는 시스템을 구축했다.
3. 대규모 장시간 자율 세션 실증: 최장 20시간 이상 지속되는 자율 세션에서 여러 노드에 걸쳐 독립적인 실험을 인간 개입 없이 dispatch하는 multi-node, multi-GPU 확장성을 보였다.
4. 다양한 도메인의 case study 검증: convex optimization의 lower-bound 증명, mixed-integer optimization의 증명-구현 workflow, LLM pruning을 위한 weight reconstruction, LLM quantization의 column ordering 등 수학 및 딥러닝 전반에 걸친 실제 사례를 통해 framework의 실효성을 입증했다.

How

Figure 2. Overview of the agentic research framework. Top: the researcher writes a persistent instruction file that gove

• 연구자가 research question, 필요한 tools/methods/data, prior work 및 domain knowledge 세 가지 입력을 제공
• 연구자가 Apptainer sandbox를 project directory에서 실행하고 자연어로 research instruction 제공
• agent가 scope, constraints, metrics에 대해 명확화 질문(clarifying questions)을 수행
• agent가 project-specific 지침을 INSTRUCTIONS.md에 Ten Commandments와 함께 기록
• agent가 report.tex와 TODO.md를 초기화하고 계획을 draft한 뒤 승인 후 자율 실행
• sandbox 내에서 /workspace, isolated home directory, /scratch로 파일시스템 접근을 제한하고 git, ripgrep, uv, Julia, TeX Live 등 개발 도구를 제공
• GPU 머신에서는 nvidia-smi로 device를 discover하고 CUDA_VISIBLE_DEVICES로 독립 실험을 pinning(Commandment C1)
• multi-node Slurm 환경에서는 remote-run dispatcher를 통해 head node의 agent가 다른 노드에 비동기적으로 독립 실험을 전송
• 모든 실험은 Goal, Hypothesis, Method, Implementation 등 필드를 갖춘 구조화된 LATEX report.tex로 기록되어 검증 가능성 확보

Originality

• AI 연구 통합을 능력(capability) 관점이 아니라 연구자 워크플로우 관점에서 다섯 단계로 체계화한 실용적 taxonomy를 제안
• 특정 LLM이나 벤더에 종속되지 않고 기존 CLI coding agent(Claude Code, Codex CLI, OpenCode, Gemini CLI 등)를 감싸는 vendor-agnostic wrapper 방식을 채택
• Ten Commandments라는 명시적 방법론 규칙을 agent prompt 형태로 공식화하여 자율성과 검증 가능성(구조화된 report, TODO 체크리스트)을 동시에 확보하는 설계
• sandboxed container와 GPU/multi-node dispatch를 결합해 개인 노트북 프로토타이핑부터 클러스터 규모 실험까지 확장 가능한 실용 시스템을 구현

Limitation & Further Study

• 20시간 이상의 자율 세션 등 사례가 소수의 특정 프로젝트에 한정되어 있어, framework의 일반화 가능성과 실패 사례(예: 잘못된 증명이나 실험 결과를 agent가 스스로 발견하지 못하는 경우)에 대한 정량적 평가가 부족할 수 있다.
• 연구자가 여전히 principal investigator로서 결과를 검증해야 한다고 강조하지만, 검증 부담이 실제로 얼마나 되는지, 검증 실패 시 발생하는 위험(예: 오류가 있는 수학적 증명의 확산)에 대한 구체적 가드레일이나 실패율 분석이 제시되지 않았다.
• 특정 상용 LLM 기반 CLI agent(Claude Code, Codex CLI 등)의 성능에 framework 효과성이 크게 의존할 수 있어, 모델 성능 변화에 따른 재현성 및 안정성 검증이 후속 연구로 필요하다.
• 사례 연구가 수학 최적화와 LLM pruning/quantization 등 저자 연구 그룹에 익숙한 도메인에 편중되어 있어, 더 넓은 과학 분야로의 일반화 가능성 검증이 요구된다.

Evaluation

총평: AI 통합 taxonomy와 실용적인 오픈소스 자율 연구 framework를 제시하여 연구자들이 AI-assisted research를 실제로 어떻게 수행할 수 있는지 구체적 가이드를 제공하는 유용한 실무형 논문이나, 검증과 신뢰성에 대한 정량적 평가와 더 폭넓은 사례가 보강되면 더 설득력이 높아질 것이다.