Curie: Toward rigorous and automated scientific experimentation with ai agents

Motivation

• Known: LLM을 활용해 literature review, brainstorming, hypothesis generation, data analysis 등 과학 연구 프로세스의 여러 단계를 자동화하려는 시도들이 다수 존재하며, end-to-end 과학 연구 에이전트들도 ad-hoc prompt 기반 워크플로우로 idea generation부터 paper writing까지 모사하고 있다.
• Gap: 기존 AI agent 기반 과학 연구 자동화 접근법들은 ad-hoc 프롬프트에 의존해 methodical procedure, reliability, interpretability를 체계적으로 강제하지 못하며, 특히 rigor가 핵심적으로 요구되는 실험(experimentation) 단계는 거의 탐구되지 않았다.
• Why: 과학적 진보의 핵심인 실험은 hallucination에 취약한 LLM 기반 자동화에서 재현 가능하고 신뢰할 수 있는 결과를 보장하기 어려우므로, rigor를 내재화한 실험 자동화 프레임워크는 AI 기반 과학 발견의 실용성과 신뢰성을 크게 좌우한다.
• Approach: Curie는 Architect Agent(고수준 계획 수립·조율·성찰)와 Technician Agent(계획 구현·실행)의 이중 에이전트 구조를 두고, 그 중심에 Experimental Rigor Engine을 배치하여 Intra-Agent Rigor Module, Inter-Agent Rigor Module, Experiment Knowledge Module 세 가지 모듈로 rigor를 전 과정에 걸쳐 보장한다.

Achievement

Case Study. Curie can help researchers validate, expand, and critique existing research on the benefits of repeated sampling

1. 실험 벤치마크 구축: 영향력 있는 연구 논문과 널리 사용되는 오픈소스 프로젝트에서 도출한 4개 컴퓨터과학 도메인, 46개 질문으로 구성된 신규 Experimentation Benchmark를 설계함.
2. 성능 개선: OpenHands, Microsoft Magentic 등 최신 baseline 대비 실험 질문 정답률에서 3.4배 향상을 달성함.
3. 사례 연구를 통한 실용성 검증: repeated sampling in LLM reasoning 관련 기존 연구를 재현(Reproduce), 확장(Extend), 비판(Challenge)하는 과정을 통해 실제 연구 검증·확장·비판에 활용 가능함을 시연함.
4. 오픈소스 공개: Curie 프레임워크와 벤치마크를 GitHub를 통해 공개하여 재현성과 커뮤니티 활용을 지원함.

How

Curie workflow with an example task in LLM reasoning. The Architect is responsible for designing high-level plans and

• Architect Agent가 실험 질문과 관련 컨텍스트(도메인 지식, starter code 등)를 입력받아 고수준 실험 계획을 생성하고 결과에 대해 reflection 수행
• Technician Agent가 계획에 따라 통제된 실험을 구현·실행
• Intra-Agent Rigor Module(Intra-ARM)이 실험 계획이 목표와 부합하는지, 설정이 재현 가능한지 등을 검증하는 확장 가능한 rigor policy 세트를 적용
• Inter-Agent Rigor Module이 에이전트 간 작업 전환(task transition)과 작업 스케줄링을 체계적으로 관리
• Experiment Knowledge Module이 대규모 실험에서도 협업이 가능하도록 구조화된 문서화를 유지
• 46개 태스크로 구성된 Experimentation Benchmark를 통해 OpenHands, Microsoft Magentic과 비교 평가 수행

Originality

• 기존 연구들이 literature review, brainstorming, hypothesis generation 등 과학 연구의 창의적 단계에 집중한 것과 달리, rigor가 핵심인 실험(experimentation) 단계 자동화에 처음으로 초점을 맞춤
• ad-hoc 프롬프트 기반 워크플로우 모사에 그치던 기존 end-to-end 과학 에이전트와 달리, methodical procedure·reliability·interpretability를 명시적 모듈(Intra-ARM, Inter-ARM, Experiment Knowledge Module)로 시스템화함
• 논리 추론이나 문제 해결형 태스크에 집중된 기존 AI agent 벤치마크와 차별화하여, 실제 연구 논문과 오픈소스 프로젝트에서 도출한 반복적 가설 정제와 복잡한 실험 셋업이 필요한 실증적 벤치마크를 새로 제안

Limitation & Further Study

• 현재는 컴퓨터과학 도메인의 LLM-friendly 컴퓨터 접근 인터페이스에 한정되어 있어, 물리학·생물학 등 다른 과학 분야로의 일반화 가능성은 추가 검증이 필요함
• 벤치마크가 46개 태스크로 규모가 제한적이며, 4개 CS 도메인에 국한되어 있어 더 넓은 실험 유형에 대한 커버리지 확장이 요구됨
• rigor policy가 사전 정의된 규칙 기반으로 보이며, 새로운 미지의 실험 오류 유형에 대한 확장성과 정책 자체의 완결성 검증이 추가로 필요함
• 3.4배 개선이 어떤 실패 모드에서 발생했는지 더 세밀한 오류 분석 및 ablation이 후속 연구로 요구됨

Evaluation

총평: 과학 실험 자동화에서 그동안 간과되었던 rigor(엄밀성) 문제를 정면으로 다루며 체계적인 모듈 설계와 실증적 벤치마크로 유의미한 개선을 보인 실용적이고 시의적절한 연구이다.