EvoMaster: A Foundational Evolving Agent Framework for Agentic Science at Scale

Motivation

• Known: LLM 기반 agent가 AlphaFold, GNoME 등에서 보여주듯 과학 발견을 가속화하는 도구로 활용되고 있으며, Coscientist, The AI Scientist 같은 초기 Agentic Science 시스템들이 문헌 리뷰부터 논문 작성까지 전체 연구 사이클을 자동화할 수 있음을 입증했다.
• Gap: 기존 과학 agent 프레임워크는 ChemCrow, MLAgentBench처럼 특정 분야에 종속된 monolithic 시스템으로 개발되어 harness 재사용이 어렵고, 대부분 single-pass 실행 방식이라 시행착오로부터 학습하거나 실험 사이클 간 지식을 축적하는 능력이 결여되어 있다.
• Why: 과학적 방법 자체가 본질적으로 반복적(iterative)인데, agent가 이를 모사하지 못하면 복잡하고 개방적인 연구 프런티어를 탐색할 수 없으며, Agentic Science를 대규모(at Scale)로 확장하려면 분야 간 이식 가능한 foundational 기반과 지속적 자기진화 메커니즘이 필수적이다.
• Approach: 모듈형 구성요소와 통합 레지스트리를 통한 domain-agnostic harness 위에, multi-turn reactive loop 기반 반복적 자기진화와 multi-agent collaborative evolution을 결합하여 약 100줄의 코드로 새로운 과학 분야 agent를 구축할 수 있게 한다.

Achievement

Figure 2. Evolving performance improvement of EvoMaster on

1. 폭넓은 벤치마크 우위: 10개 벤치마크(과학 연구/코딩/실험, 과학적 추론 및 정보 탐색, 실용적 과학 문제 해결) 중 9개에서 OpenHands, OpenClaw, Codex 대비 최고 점수를 달성했다.
2. 최고 평균 성능: 네 agent 중 EvoMaster가 평균 58.0%로 가장 높은 점수를 기록해 전반적인 효능과 일반성을 검증했다.
3. 지속적 자기진화 실증: MLE-Bench와 같은 long-horizon 과제에서 시간에 따라 점진적으로 정확도가 향상되는 self-evolution 양상을 보였다(Figure 2).
4. 생태계 구축: EvoMaster를 기반으로 ML-Master 2.0, X-Master, Browse-Master, PhysMaster, EmboMaster 등 다양한 도메인의 SciMaster 에이전트 생태계를 육성했다.

How

Figure 3. Overall architecture of EvoMaster.

• Modular composability: 시스템을 독립적으로 교체 가능한 컴포넌트로 분리하고 통합 레지스트리로 관리하여 새로운 과학 도메인의 온보딩 비용을 최소화한다.
• Experiment-ready harness: declarative configuration과 포괄적인 trajectory tracking을 결합하여 파라미터 유연성과 실행 추적성을 보장한다.
• Iterative self-evolution: single-pass 실행에서 벗어나 multi-turn reactive loop 내에서 agent가 지능적 context management를 통해 지속적으로 관찰, self-critique, 가설 정제를 수행한다.
• Multi-agent collaborative evolution: orchestration layer가 유연한 협업 패턴을 지원해 agent 팀이 공동으로 토론하고 해법을 최적화하도록 하여 실제 과학계의 동료 검토 역학을 모사한다.
• GPT-5.4를 backend model로 사용해 PaperBench(CodeDev), PostTrainBench, MLE-Bench Lite, Frontier Science, BrowseComp, BrowseComp-ZH, HLE, PRL-Bench, Combinatorial Construction, BiomniBench-DA 등 10개 벤치마크에서 OpenHands, OpenClaw, Codex와 head-to-head 비교를 수행했다.

Originality

• 기존 domain-specific monolithic 과학 agent(ChemCrow, MLAgentBench 등)와 달리, 분야에 무관한(domain-agnostic) 기반 harness를 제안해 약 100줄의 코드로 신규 과학 분야 agent 구축을 가능케 한 점.
• single-pass 실행 패러다임을 벗어나 iterative self-evolution과 multi-agent collaborative evolution을 architectural principle로 명시적으로 통합한 점.
• 단일 벤치마크가 아닌 연구 코딩/실험, 과학적 추론/정보탐색, 실용적 문제해결이라는 세 가지 capability regime으로 나누어 Agentic Science 요구사항에 직접 대응하는 평가 체계를 설계한 점.
• 실제로 ML-Master 2.0, X-Master, Browse-Master, PhysMaster, EmboMaster 등 다양한 도메인 agent로 구성된 SciMaster 생태계를 실증적으로 구축·확장한 점.

Limitation & Further Study

• 발췌된 abstract/introduction만으로는 self-evolution의 구체적 알고리즘(예: context management, self-critique 메커니즘의 세부 구현)이 명확히 드러나지 않아 기술적 세부사항에 대한 추가 검증이 필요하다.
• GPT-5.4라는 특정 backend model에 의존한 평가로, 다른 backend LLM에서도 동일한 우위가 유지되는지에 대한 일반화 검증이 부족하다.
• 9/10 벤치마크에서 최고 점수를 달성했으나 나머지 1개 벤치마크에서의 열세 원인 및 실패 사례 분석이 본문 발췌에서 제시되지 않았다.
• 후속 연구로는 다양한 backend model에 대한 ablation, self-evolution 메커니즘의 세부 알고리즘 공개, 그리고 더 많은 과학 분야로의 확장성 검증이 필요하다.

Evaluation

총평: EvoMaster는 Agentic Science를 위한 domain-agnostic하고 self-evolving한 foundational agent framework로서, 폭넓은 벤치마크에서 우수한 성능과 생태계 확장성을 실증적으로 보여준 의미 있는 기여이다. 다만 self-evolution 메커니즘의 세부 기술적 근거와 단일 backend model 의존성에 대한 추가 검증이 향후 필요하다.