EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

Motivation

• Known: 기존의 AI 과학자 시스템들은 Virtual Scientist, Co-Scientist 등의 초기 단계 아이디어 생성 시스템과 AI Scientist-v2, AI-Researcher, InternAgent 등의 엔드-투-엔드 과학적 발견 시스템으로 나뉘어 발전해왔다. 그러나 이들 대부분은 배포 후 고정된 역할과 의사결정 전략을 가진 정적 파이프라인에 의존하며, 누적된 결과와 실패로부터 재사용 가능한 경험을 추출하지 못한다.
• Gap: 기존 AI 과학자 시스템들은 누적된 결과와 실패로부터 학습하여 아이디어 생성과 실험 실행을 지속적으로 개선하는 능력이 부족하다. 특히 이미 실패한 연구 방향을 반복 탐색하거나 가능성 없는 아이디어에 자원을 투자하는 문제가 해결되지 않고 있다.
• Why: 엔드-투-엔드 과학적 발견 작업에서 아이디어 생성과 실험 실행의 품질은 연구 효율성에 직접적인 영향을 미친다. 정적 시스템이 축적된 경험으로부터 학습하고 진화하는 능력 없이 반복적 실패를 거듭하면 자원 낭비와 발견 지연이 발생하므로, 이를 해결하는 자체 진화 메커니즘이 중요하다.
• Approach: EvoScientist는 세 개의 전문화된 에이전트를 coordination하도록 설계되었다. Researcher Agent가 과학적 아이디어를 생성하고, Engineer Agent가 실험을 구현·실행하며, Evolution Manager Agent가 이전 상호작용으로부터 통찰을 추출한다. 두 개의 지속적 메모리 모듈이 이전 성공과 실패를 기록하고, 새로운 작업에서 에이전트들이 관련 전략을 검색하여 프롬프트에 추가함으로써 점진적 개선을 구현한다.

Achievement

Figure 2: Mean execution success rate across four experiment

idea direction evolution: 상위 순위 아이디어에서 실행 가능한 연구 방향을 요약하고 검증 중 실패한 방향을 기록. idea validation evolution: 이전의 성공적이고 실패한 아이디어 검증 전략을 활용하여 아이디어 품질 개선. experiment strategy evolution: 코드 검색 궤적과 최적 성능의 구현으로부터 효과적인 데이터 처리 및 모델 학습 전략 캡처. 정량적 성과: 자동 평가 및 인간 평가 모두에서 7개의 오픈소스 및 상용 시스템 대비 우수한 아이디어 생성 성능(novelty, feasibility, relevance, clarity 지표). 엔드-투-엔드 평가: EvoScientist가 생성한 전체 6개 논문이 ICAIS 2025에 수락되었으며, 2개가 최우수상 수상(Best Paper Award, AI Reviewer's Appraisal Award).

How

Figure 2: Mean execution success rate across four experiment

• Ideation memory 구성: 상위 k개 아이디어에서 feasible한 연구 방향을 요약하고 실패한 방향 기록
• Experimentation memory 구성: code search trajectory에서 효과적인 데이터 처리 및 학습 전략 추출
• Retrieval-augmented prompting: 새로운 작업에서 관련 이전 전략을 메모리에서 검색하여 에이전트 프롬프트에 추가
• Multi-agent collaboration: RA, EA, EMA의 coordination을 통해 아이디어 생성부터 실험 실행까지 통합적 진화 추진
• Continuous feedback loop: 각 작업의 결과를 지속적으로 메모리에 반영하여 다음 작업에서 활용 가능하게 함

Originality

• 자체 진화 메커니즘의 도입: 기존 정적 파이프라인 기반 시스템들과 달리, 누적된 상호작용 이력을 체계적으로 학습하는 framework 제시
• 이중 지속적 메모리 설계: ideation memory와 experimentation memory의 분리 구조로 아이디어 공간과 실행 공간의 진화를 독립적으로 관리
• Evolution Manager Agent의 역할: 단순한 메모리 저장을 넘어 이전 상호작용으로부터 재사용 가능한 지식을 적극적으로 추출하는 에이전트 도입
• 엔드-투-엔드 검증: 초기 단계 아이디어 평가를 넘어 최종 논문 수준의 과학적 산출물을 통해 시스템의 실질적 유용성을 입증

Limitation & Further Study

• 메모리 관리의 확장성: ideation memory와 experimentation memory가 누적되면서 검색 효율성과 저장 공간 관리 문제에 대한 구체적 해결 방안이 제한적
• 평가 데이터셋의 제한성: 주로 기계학습 및 데이터 분석 도메인의 아이디어와 코드에 국한되어 타 과학 분야(예: 생물학, 화학)에 대한 일반화 가능성 미검증
• 메모리 검색 정확성: 유사한 실패 패턴이나 성공 전략을 정확히 식별하는 retrieval 메커니즘의 robustness 평가 부족
• 인간 전문가와의 비교: 자동 평가와 인간 평가를 활용했으나, 실제 과학자들이 수행하는 연구 방법론과의 비교 분석 미흡
• 후속 연구 방향: 더 정교한 메모리 압축 기법, 도메인 간 이전 학습(transfer learning), 에이전트 역할의 동적 재분배 메커니즘 필요

Evaluation

총평: EvoScientist는 AI 과학자 시스템에 자체 진화 능력을 도입함으로써 기존의 정적 파이프라인 기반 접근의 주요 한계를 해결한다. 지속적 메모리와 다중 에이전트 collaboration을 통한 구현은 기술적으로 타당하며, 아이디어 품질 개선과 코드 실행 성공률 향상에서 실질적 성과를 입증하였다. 다만 메모리 확장성, 도메인 일반화, retrieval 정확성 등의 측면에서 추가 개선의 여지가 있으나, 엔드-투-엔드 과학적 발견의 자동화라는 중요한 문제에 실질적 기여를 하는 가치 있는 연구이다.