Towards Automated Causal Effect Estimation with Self-Evolving AI

Motivation

• Known: causal inference에서는 propensity score, doubly robust estimator, causal machine learning 등 다양한 방법론이 개발되어 있지만, 어떤 estimator를 선택할지와 ground-truth가 없는 상황에서 성능을 어떻게 평가할지는 여전히 실무 전문가의 판단에 크게 의존하는 문제로 남아 있다. 최근 AlphaEvolve, OpenEvolve 등 LLM 기반 진화적 코드 생성 프레임워크가 과학·알고리즘 발견에 성공을 거두었다.
• Gap: 기존 LLM/자동화 연구들(CauSciBench, Causal AI Scientist, AutoCATE 등)은 사전 정의된 워크플로우나 estimator 후보 중에서 선택·자동화하는 데 그쳤을 뿐, estimator 자체(nuisance model, weighting/meta-learning 구조, interval 구성을 포함)를 open-ended하게 새로 발견하고 개선하는 시도는 없었다.
• Why: causal estimation 전략 공간은 조합적으로 크지만 구조화되어 있고, 표준 평가 방식이 이미 known ground truth를 가진 시뮬레이션 데이터에 의존하므로, 이는 LLM 기반 진화적 최적화에 자연스러운 fitness 신호를 제공하는 유망한 자동화 대상이다.
• Approach: estimator를 벤치마크별 estimate(...) 인터페이스를 갖는 실행 가능한 Python 프로그램으로 표현하고, OpenEvolve 기반 MAP-Elites 아카이브와 LLM 앙상블을 이용해 held-out replicate에 대한 일반화를 요구하며 반복적으로 프로그램을 변이·개선한다.

Achievement

Figure 3. InferenceEvolve converges to dataset-specific estimator families without collapsing onto a single public templ

1. Pareto-frontier 성능: 진화된 estimator가 ACIC 2022 competition의 58개 human submission 대비 Pareto frontier 상에 위치하는 성능을 달성했다.
2. 다중 벤치마크 일반화: ACIC 2022, ACIC 2016, IHDP, LaLonde 등 panel/cross-sectional/semi-synthetic/observational 설계를 아우르는 네 benchmark family에서 upper tail 성능이 강력한 fixed baseline을 상회함을 보였다.
3. Proxy-guided 탐색 확장: 실제 treatment effect가 없는 상황에서도 doubly robust pseudo-outcome 기반 proxy objective로 진화를 유도해, 일부 벤치마크에서는 높은 proxy fidelity로 경쟁력 있는 결과를 냈다(단 일부에서는 실패).
4. 진화 궤적 분석: 시스템이 알려진 causal-estimation 구성요소들을 벤치마크별로 재발견하고 재조합하는 과정을 코드 길이·methods paragraph 분석을 통해 규명했다.

How

Figure 1. Code length distributions across datasets and program sources. Top panels show character count and bottom pane

• estimator를 zero-shot seed program에서 시작해 benchmark별 estimate(...) 인터페이스를 갖는 실행 프로그램으로 표현
• OpenEvolve의 MAP-Elites archive로 고득점·다양성 있는 프로그램을 유지하며 LLM ensemble(주/보조 모델)이 전체 프로그램 단위 mutation 제안
• ACIC 2022는 RMSE와 90% coverage를 결합한 S_ACIC2022 점수, IHDP/ACIC2016/LaLonde는 √PEHE와 ATE error를 결합한 S_SITE 점수로 search-time selection 수행 (λ로 균형 조절)
• 데이터를 search용 training replicate와 미접촉 held-out replicate로 20:80 분할하여 프로그램은 training에서만 평가·진화되고 최종 프로그램은 held-out에서 1회 평가
• 실제 effect가 없는 상황을 위해 cross-fitted doubly robust pseudo-outcome fit, AIPW 기반 ATE discrepancy, normalized R-loss를 결합한 proxy objective를 별도로 설계해 proxy-guided evolution 수행
• 진화 과정의 program 다양성, 코드 길이, methods-paragraph 길이 등을 분석해 알고리즘적 수렴 양상 연구

Originality

• causal treatment-effect estimator 자체를 nuisance model·weighting/meta-learning 구조·interval 구성까지 포함해 open-ended하게 탐색한 최초의 시도로, 기존 연구들이 사전 정의된 방법/파이프라인 선택에 그쳤던 것과 차별화됨
• ground-truth counterfactual이 없는 상황에서 doubly robust proxy objective로 진화를 유도하는 설정을 추가로 제안해, partially observed reward 하의 과학적 탐색 가능성을 검증
• ACIC 2022 human competition 제출물과 직접 비교하여 Pareto frontier 상 성능을 입증한 점이 검증의 신뢰성을 높임

Limitation & Further Study

• proxy-guided search가 일부 벤치마크에서는 실패했다고 명시되어 있어, proxy objective의 신뢰성과 일반화 가능성에 한계가 있으며 어떤 조건에서 실패하는지에 대한 이론적 설명이 부족함
• 20:80 split을 사용해 benchmark memorization을 완전히 배제하지 못한다고 저자들도 인정하고 있어, held-out replicate가 실제로 unseen data-generating mechanism을 얼마나 잘 대표하는지 불확실함
• 사용된 benchmark가 모두 semi-synthetic/competition 데이터이며, 실제 관측 연구(real-world observational study)에서의 검증은 부재함
• 향후 연구로는 proxy objective의 실패 원인 규명, 더 다양한 real-world causal task로의 확장, 그리고 LLM ensemble 구성이 탐색 성능에 미치는 영향에 대한 심층 분석이 필요함

Evaluation

총평: causal inference라는 partially observed reward 환경에서 LLM 기반 진화적 탐색이 estimator 자체를 새롭게 발견할 수 있음을 최초로 보인 의미 있는 연구이나, proxy objective의 실패 사례와 held-out 설계의 한계에 대한 추가 검증이 필요하다.