EVIL Baseline: LLM-Discovered Heuristics can be strong Baselines for Scientific Inference

Motivation

• Known: 딥러닝 기반 foundation inference model(FIM-MJP, FIM-PP, FIM-ℓ 등)과 신경망 기반 temporal point process, diffusion 기반 time series 모델들이 과학적 동역학계 추론에서 강력한 성능을 보여왔으며, AlphaEvolve나 FunSearch 같은 LLM-guided evolutionary program search가 개별 알고리즘 설계나 수학적 발견 문제에서 성과를 낸 바 있다.
• Gap: 복잡한 딥러닝 모델의 성능이 학습된 표현에서 오는 것인지 데이터 자체의 구조에서 오는 것인지 구분하려면 강력한 baseline이 필요하지만, 사람이 직접 설계하는 baseline은 탐색 공간의 한계나 지나친 단순함(last-value imputation 등)으로 인해 충분히 informative하지 않다는 문제가 있다.
• Why: 단일 문제 인스턴스 최적화를 넘어 여러 데이터셋에 일반화되는 범용 과학적 추론 함수를 LLM 진화적 탐색으로 자동 발견할 수 있음을 보여줌으로써, 복잡한 딥러닝 모델이 실제로 어디에 가치를 더하는지 가늠할 수 있는 저비용·고속의 baseline 구축 도구를 제공한다.
• Approach: AlphaEvolve 스타일의 LLM-guided evolutionary program search를 오픈소스 구현체 OpenEvolve로 수행하여, 각 과제별로 zero-shot in-context 추론을 수행하는 하나의 컴팩트한 Python/NumPy 함수를 진화시킨다.

Achievement

Figure 2.

1. 경쟁력 있는 성능: temporal point process 예측, Markov jump process rate 추정, time series imputation 세 과제 모두에서 EVIL이 발견한 휴리스틱이 A-NHP, NHP, IFTPP, CDiff, FIM-PP, FIM-MJP 등 최신 딥러닝/foundation model과 경쟁력 있거나 일부 벤치마크에서 능가함.
2. 압도적인 효율성: 진화된 휴리스틱은 GPU 기반 신경망 baseline 대비 CPU에서 약 200배 빠르게 동작하며, 발견 과정 자체도 15분 내외, 1달러 미만의 API 비용으로 완료됨.
3. 완전한 해석 가능성과 일반화: 결과물이 읽기 쉬운 Python 함수로 표현되어 완전히 해석 가능하며, 진화 과정에서 접하지 않은 더 많은 카테고리를 가진 미지의 데이터셋(MIMIC-II 등)에도 일반화되고 분포 이동(distribution shift)에 대한 강건성도 보임.

How

Figure 5. New best validation-set programs discovered during the 800-iteration long run. Across the run, the search foun

• OpenEvolve(AlphaEvolve의 오픈소스 구현)를 사용하여 초기 trivial program에서 시작, 매 iteration마다 LLM이 diff 형식으로 코드 수정을 제안하고 scoring function으로 평가
• MAP-Elites 기반 island 구조의 evolutionary database로 탐색-활용 균형 유지, GPT-5(20%)와 GPT-5-mini(80%) 앙상블 사용, NumPy만 사용하도록 system prompt로 제약
• 실험 편향 방지를 위해 각 데이터셋의 training split에서 별도의 evaluation subsplit을 생성하여 진화 시 활용(baseline 대비 적은 데이터 사용), EVIL(target subsplit로 진화)과 EVIL (synthetic prior)(순수 합성 데이터로만 진화) 두 변형을 비교
• 세 가지 과제(temporal point process, Markov jump process, imputation)에 대해 동일한 초기 프로그램·프롬프트·scoring function을 고정하여 100 iteration(~15분) 진화 수행

Originality

• LLM-guided program evolution을 단일 문제 인스턴스 최적화가 아닌 여러 데이터셋에 걸쳐 일반화되는 범용 과학적 추론 함수 발견으로 확장한 최초 시도
• 세 가지 서로 다른 동역학계 추론 과제(point process, MJP, imputation)에 걸쳐 공통된 진화적 탐색 프레임워크를 적용해 자동 baseline 발견의 범용성을 입증
• synthetic prior만으로 진화된 EVIL 변형을 통해 FIM류 foundation model과 유사한 합성 사전학습 패러다임을 프로그램 탐색 관점에서 재해석하고 직접 비교

Limitation & Further Study

• 세 과제 모두 비교적 잘 정립된 벤치마크와 명확한 scoring function이 존재하는 영역으로, scoring function 설계가 어렵거나 모호한 실제 과학 문제에 대한 일반화 가능성은 검증되지 않음
• 100 iteration, 고정된 LLM 앙상블(GPT-5/GPT-5-mini) 비율 등 하이퍼파라미터가 벤치마크 결과에 기반해 조정되지 않았다고 명시했으나, 애초에 이 설정 자체가 저자의 사전 지식에 의해 결정되었을 가능성 존재
• 발견된 휴리스틱이 왜 잘 작동하는지에 대한 설명이 가설 수준(LLM의 사전지식, 정확한 계산, Occam's razor 편향)에 머무르며, 더 심층적인 이론적 분석이나 실패 사례 분석이 부족함
• 후속 연구로 scoring function이 명확하지 않은 open-ended 과학 문제나 더 복잡한 다변량 시스템으로의 확장, 그리고 진화 과정의 재현성 및 분산에 대한 체계적 분석이 필요

Evaluation

총평: 단순하지만 강력한 아이디어를 세 가지 실제 과학적 추론 과제에서 설득력 있게 검증한 실용적이고 시의적절한 연구로, 복잡한 딥러닝 모델 개발 이전에 자동화된 강력한 baseline 구축 도구로서의 가치가 크다.