CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

Motivation

• Known: 기존 AI Scientist 벤치마크들은 literature survey, hypothesis 제안, 논문 작성, data analysis, coding 등 과학적 연구 파이프라인의 각 단계에서 LLM의 능력을 평가해왔으며, 최근 BoxingGym, DiscoveryWorld, NewtonBench와 같은 interactive discovery 벤치마크들은 agent가 실험을 설계하고 시뮬레이션 환경 속에서 underlying relationship을 발견할 수 있는지를 평가한다.
• Gap: 기존 벤치마크들은 real-world 과학적 발견에서 흔히 발생하는 hidden confounder, selection bias, noisy measurement 같은 observational pitfall을 명시적으로 반영하지 않아, naive한 statistical analysis가 체계적으로 오도되는 상황을 평가하지 못한다.
• Why: 과학적 발견은 본질적으로 관측으로부터 causal relationship을 밝혀내는 작업이므로, correlation과 causation, hidden bias를 구별하는 causal thinking 능력은 LLM 기반 AI Scientist agent의 신뢰성과 실제 적용 가능성에 필수적이다.
• Approach: CausalGame은 드론 설계 게임을 통해 LLM agent가 실험 프로토콜을 능동적으로 설계하고, 관측 데이터를 수집하며, 최종 해법과 설명 리포트를 도출하도록 요구하는 interactive benchmark를 구축했다.

Achievement

1. CausalGame 벤치마크 구축: hidden confounder, selection bias, noisy measurement를 반영한 14개 game scenario를 설계해 structural causal model(SCM) 기반의 controlled testbed를 제공했다.
2. 다차원 자동 평가 체계: drone design의 품질뿐 아니라 agent가 제출하는 explanation report까지 rubric 기반으로 fine-grained하게 평가하는 자동화된 평가 파이프라인을 구축했다.
3. 대규모 실증 평가: 29개의 frontier LLM agent를 대상으로 실험을 수행해, 이들이 selection bias, noisy measurement, hidden confounder 하에서 일관되게 causal mechanism을 식별하지 못하고 statistical clue에 오도됨을 실증적으로 규명했다.

How

• 드론의 구성요소 속성을 agent가 설계하도록 하고, 이 속성과 날씨 조건, 적의 공격이 생존율에 영향을 미치는 관계를 SCM으로 특징지음
• agent에게 제한된 budget을 부여해 소규모 드론 패치를 파견하고 데이터를 수집하며 causal process를 이해하도록 유도
• 수집한 이해를 바탕으로 최종 drone design을 도출하고 explanation report를 작성하게 함
• selection bias(생존한 드론만 관측 가능), noisy measurement, hidden confounder를 포함하는 다양한 game scenario를 구성해 관측 데이터가 통계적으로 오도되는 상황을 재현
• design 품질과 report 품질을 rubric으로 자동 평가하여 causal thinking 능력을 정량화

Originality

• 기존 AI Scientist 벤치마크들이 다루지 않았던 observational pitfall(hidden confounder, selection bias, noisy measurement)을 명시적으로 통합한 최초의 causal thinking 벤치마크
• multi-turn interaction, experiment design, causal relation, explanation evaluation, observational pitfall을 모두 갖춘 유일한 benchmark로 Table 1에서 기존 연구들과 차별화됨
• 실제 과학적 발견 과정을 드론 설계라는 interactive game 형태로 구체화하여 controlled하면서도 realistic한 평가 환경을 제공

Limitation & Further Study

• 드론 설계라는 단일 도메인의 game scenario에 기반하고 있어, 다른 과학 분야(생물학, 화학 등)로의 일반화 가능성에 대한 추가 검증이 필요함
• rubric 기반 자동 평가가 explanation report의 질적 측면(논리적 타당성, 인과적 추론의 정교함)을 완전히 포착하는지에 대한 검증이 제한적일 수 있음
• 14개 game scenario와 29개 LLM으로 한정된 실험 범위로, 더 다양한 causal structure나 최신 모델에 대한 확장 연구가 필요함
• agent의 실패 원인(추론 능력 부족 vs. prompt 설계 문제 vs. tool 사용 미숙)에 대한 세부적인 원인 분석이 부족하여 향후 diagnostic 연구가 요구됨

Evaluation

총평: CausalGame은 AI Scientist agent 평가에서 그동안 간과되었던 causal thinking과 observational pitfall이라는 중요한 축을 체계적으로 다룬 유의미한 벤치마크로, LLM의 근본적 한계를 명확히 드러내는 실증 결과를 제공한다는 점에서 가치가 크다.