CausalEvolve: Towards Open-Ended Discovery with Causal Scratchpad

Motivation

• Known: AlphaEvolve와 같은 진화형 에이전트는 LLM의 추론 능력을 활용하여 개방형 과학 문제를 반복적으로 개선하는 데 성공했으나, 진화 과정에 대한 목표화된 지도가 부족하고 과거 진화 경험에서 축적된 지식을 효과적으로 조직화하고 활용하는 메커니즘이 제한적이다.
• Gap: 기존 진화형 에이전트는 인과적 지식 없이 진화하기 때문에 알려진 성능 경계에 접근할 때 효율성이 감소하고 oscillatory behavior를 보인다. 인간 과학자는 목표화된 실험 설계와 관찰 데이터로부터의 과학적 통찰 도출을 통해 안내된 발견을 수행하는데, 현재의 진화형 에이전트는 이러한 능력이 부족하다.
• Why: 개방형 과학 발견 문제의 효율성과 효과성을 동시에 개선하는 것은 AI 과학자 에이전트 개발의 핵심 과제이다. 인과 추론을 통한 안내는 과학적 발견 과정의 본질을 반영하므로, 이를 LLM 기반 진화 프레임워크에 통합하는 것이 의미 있다.
• Approach: CausalEvolve는 POMDP 공식화를 통해 과학 발견을 인과 메커니즘 발견으로 모델링한다. 인과 스크래치패드는 초기에 목표 목적을 개선하기 위한 outcome-level factors를 식별하고, 진화 중에 multi-arm bandit을 사용하여 개입을 적응적으로 결정하며, surprise patterns를 분석하여 abductive reasoning으로 새로운 factors를 가설화한다.

Achievement

Figure 2: The iterative scientific discovery loop. Left: Conceptual flow of the agent. The agent maintains a

• 인과 기반 과학 발견의 이론적 공식화: POMDP와 Structural Causal Model을 활용한 진화형 발견의 정식화 제시\n- CausalEvolve 프레임워크: outcome-based factors와 procedure-based factors 식별, surprise pattern 분석을 통한 새로운 인사이트 도출\n- 경험적 성과: 4개의 개방형 발견 문제에서 기존 ShinkaEvolve 대비 진화 효율성 및 솔루션 품질 개선

How

Figure 1: The iterative scientific discovery loop. Left: Conceptual flow of the agent. The agent maintains a

• outcome-level factors 식별: 목표 목적에 대한 보완적 관점 제공\n- multi-arm bandit 활용: 선택된 outcome-level factor에 대해 적응적 개입 결정\n- procedure-level factors 추출: 축적된 시도들로부터 목적값 변화를 설명하는 인자 추출\n- abductive reasoning: 예상 밖의 패턴 설명 및 새로운 factor 가설화\n- 반복적 진화 루프: 스크래치패드 메모리 업데이트를 통한 지식 축적

Originality

• 진화형 AI 과학자에 인과 추론 도입의 창의적 적용\n- POMDP와 SCM을 통한 개방형 발견의 정식화가 새로움\n- surprise patterns 분석을 통한 과학적 통찰 도출의 자동화\n- multi-arm bandit과 abductive reasoning의 통합이 참신함

Limitation & Further Study

• 제한된 평가 범위: 4개 작업에만 검증되어 다양한 도메인에서의 효과 검증 부족\n- 계산 복잡성: LLM을 활용한 인과 추론의 추가 비용에 대한 상세한 분석 미흡\n- 이론적 보장 부재: causal scratchpad가 수렴성이나 최적성을 보장하는지 미명확\n- 후속 연구: 더 복잡한 scientific problems, 다양한 LLM 모델, real-world 과학 실험으로의 확장 필요

Evaluation

총평: CausalEvolve는 진화형 AI 과학자에 인과 추론을 체계적으로 통합하여 개방형 발견의 효율성과 효과성을 모두 개선한 의의 있는 연구이다. 이론적 공식화와 실증적 검증이 잘 결합되었으나, 평가 범위 확대와 이론적 보장 제시가 필요하다.