The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

Motivation

• Known: 기존 The AI Scientist-v1은 인간이 작성한 기본 코드 템플릿에 의존하고 선형적인 가설 검증 방식을 사용했으며, LLM 기반 agent의 복잡한 추론을 개선하기 위한 다양한 scaffolding 프레임워크들(Reflexion, tree search 등)이 개발되어 있다.
• Gap: The AI Scientist-v1의 구조적 제약(인간 템플릿 의존성, 선형적 실험 탐색)과 자동화된 과학 발견 시스템의 깊이 있는 가설 탐색 능력 부족을 해결할 필요가 있다.
• Why: 완전히 자동화된 과학 연구가 실제 peer review를 통과할 수 있는지 검증하는 것은 AI의 과학 분야 응용 가능성을 근본적으로 입증하며, 이는 연구 생산성 확장과 과학 발견 속도 향상의 가능성을 시사한다.
• Approach: - 인간 템플릿 제거 및 domain-general 코드 생성으로 자율성 증대
• Experiment Progress Manager가 관리하는 agentic tree search를 통해 가설을 체계적으로 탐색
• VLM 피드백 루프를 통합하여 figure와 텍스트의 반복적 개선
• 병렬 실험 실행 지원

Achievement

Figure 1 | The AI Scientist-v2 Workflow. The workflow consists of several phases covering

The AI Scientist-v2 시스템 개발: 인간 템플릿 의존성 제거 및 tree-based 실험 실행으로 자율성 향상 | 첫 AI 생성 peer-reviewed 논문: ICLR 2025 workshop에 제출한 3편 중 1편이 평균 reviewer 점수 6.33으로 수용 기준을 초과하여 peer review 통과 달성 | VLM 기반 피드백 메커니즘: figure와 caption의 질, 명확성, 텍스트 해석 일관성 개선 | 오픈소스 공개: 완전한 코드 및 workshop 실험 데이터 공개로 향후 연구 촉진

How

Figure 1 | The AI Scientist-v2 Workflow. The workflow consists of several phases covering

• LLM을 통한 자동 idea 생성 및 code implementation
• Experiment Progress Manager가 tree-structured 탐색 공간 내에서 최적의 코드 checkpoint 선택
• 선택된 checkpoint로부터 다양한 연구 가설 반복 검증
• VLM과 LLM을 활용한 figure 및 manuscript의 반복적 검토·개선
• 병렬 실험 실행으로 탐색 효율성 증대
• Peer review feedback을 통한 실제 평가

Originality

• Template 제거: 기존 v1의 인간 작성 템플릿 의존성을 완전히 제거하고 domain-general code generation으로 전환
• Tree search 적용: AIDE 기반의 LLM-driven tree search를 과학 발견 workflow에 창의적으로 적응
• VLM 피드백 루프: 실험 과정과 manuscript 검토 단계에 VLM을 통합한 새로운 접근
• 실제 peer review 검증: 전체 자동화 시스템의 성과를 실제 workshop peer review로 입증한 첫 시도

Limitation & Further Study

• Workshop 수준 제한: 제출 논문이 workshop에만 수용되었으며 conference 수준의 엄격함은 미충족
• 정성적 평가 필요성: Reviewer들이 regularization 방법의 직관적 설명 부족을 지적했으며, method description과 dataset 관련 잠재적 문제가 남음
• Figure caption 정확성: 생성된 figure caption의 부정확성 문제 존재
• 제한된 평가 대상: 3편 중 1편만 통과하였으므로 일반화 능력 검증 필요
• Deeper scientific rigor: 더 넓은 범위의 실험과 더 엄격한 과학적 검증 필요 (reviewer 평가)

Evaluation

총평: The AI Scientist-v2는 agentic tree search와 VLM 피드백을 통해 자동화된 과학 발견의 자율성과 깊이를 유의미하게 향상시켰으며, AI 생성 논문이 실제 peer review를 통과한 첫 사례로서 과학 연구의 AI 자동화 가능성을 입증했다. 다만 workshop 수준의 제한, 낮은 통과율(3편 중 1편), 그리고 여전한 과학적 엄격성 부족이 conference 수준의 영향력으로의 확대를 제약한다.