Towards Execution-Grounded Automated AI Research

Motivation

• Known: 기존 연구(Si et al., 2025a/b)에서는 LLM이 생성한 연구 아이디어가 겉보기에는 그럴듯하지만 실제로 인간 전문가가 실행했을 때는 효과가 없는 경우가 많다는 것이 대규모 전문가 평가를 통해 밝혀졌다.
• Gap: execution grounding이 idea generation을 개선할 수 있다는 직관은 있지만, open-ended AI research 문제에서 자동화된 execution이 대규모로 실현 가능한지, 그리고 LLM이 이 execution feedback으로부터 실제로 학습할 수 있는지는 알려져 있지 않았다.
• Why: 자동화된 execution grounding이 가능하다면 LLM이 방대한 아이디어 탐색 공간을 컴퓨트만으로 스케일링하여 실제 과학적 발견으로 전환할 수 있는 automated AI researcher의 실현 가능성을 검증하는 중요한 시금석이 되기 때문이다.
• Approach: 자연어 아이디어를 코드로 자동 구현하고 대규모 병렬 GPU 실험으로 검증하는 automated idea executor(Implementer-Scheduler-Worker 구조)를 구축하고, 이를 LLM pre-training(nanoGPT)과 post-training(GRPO) 두 실제 연구 환경에 적용하여 evolutionary search와 RL 두 학습 방법의 효과를 비교 분석한다.

Achievement

Figure 3. Best performance at each epoch when performing execution-guided search with different models. For the nanoGPT

1. 고성능 자동 실행기 구축: Claude-4.5-Sonnet/Opus가 생성한 아이디어의 90% 이상을 pre-training 환경에서 자동으로 성공적으로 구현·실행하는 executor를 개발했다.
2. Execution-guided evolutionary search의 우수성 입증: 단 10 search epoch만으로 post-training에서 GRPO baseline(48.0%) 대비 69.4%의 정확도를, pre-training에서 nanoGPT baseline(35.9분) 대비 19.7분의 recipe를 발견했으며, 이는 human expert 수준(68.8%)에 근접하거나 능가한다.
3. Scaling 한계 발견: search 과정에서 모델들이 의미 있는 알고리즘적 아이디어를 생성하지만 Claude-4.5-Opus를 제외하고는 대부분 조기에 saturate되어 명확한 scaling curve를 보이지 않음을 밝혔다.
4. RL의 mode collapse 규명: execution reward로 Qwen3-30B를 RL 학습시켰을 때 평균 reward는 개선되나 max reward(상한선)는 개선되지 않으며, 이는 모델이 단순한 아이디어로 수렴하면서 thinking length와 idea diversity가 붕괴하기 때문임을 보였다.

How

Figure 1. We build an automated idea executor involving Im-

• pre-training(nanoGPT speedrun 기반, FineWeb corpus, validation loss 3.28 목표)과 post-training(GRPO, Qwen2.5-Math-1.5B, MATH dataset) 두 개의 research environment를 구성
• Implementer(자연어 아이디어를 code diff로 변환 및 patch), Scheduler(리소스 할당), Worker(GPU 실험 실행 및 결과 업로드)로 구성된 automated idea executor 파이프라인 설계
• reward hacking 방지를 위해 evaluation hyper-parameter 고정, future-token leakage 방지 inference function 구현, validation 코드 접근 차단 등의 안전장치 마련
• evolutionary search와 reinforcement learning(RL from execution reward) 두 학습 알고리즘을 execution feedback을 보상으로 사용해 비교, best-of-N과도 비교
• executed idea들과 training dynamics(thinking length, idea diversity 등)를 심층 분석

Originality

• LLM 연구 아이디어의 효과성을 인간 평가가 아닌 실제 대규모 병렬 GPU 실험 execution으로 객관적으로 검증하는 자동화 시스템을 처음으로 구축
• open-ended real-world AI research 문제(LLM pre/post-training)를 execution environment로 변환하여 자동화 executor의 실현 가능성을 최초로 실증
• evolutionary search와 RL을 동일한 execution feedback 기반으로 직접 비교하여 각각의 장단점(sample efficiency vs mode collapse)을 체계적으로 분석

Limitation & Further Study

• 두 개의 연구 환경(pre-training, post-training)에 국한되어 있어 더 넓은 범위의 AI research 문제로 일반화 가능한지는 불확실함
• RL 학습에서 발생한 mode collapse 문제를 해결하기 위한 구체적인 알고리즘 개선안은 제시되지 않고 분석에 그침
• evolutionary search 역시 일부 모델(Claude-4.5-Sonnet, GPT-5)에서 조기 saturation이 발생해 장기적 scaling 가능성이 검증되지 않음
• best human expert 대비 pre-training 성능(19.7분 vs 2.1분)은 여전히 큰 격차가 있어 실제 연구 대체 수준에는 미치지 못함
• 향후에는 더 다양한 연구 도메인으로 확장하고, RL의 diversity collapse를 완화하는 학습 알고리즘 및 exploration 전략에 대한 후속 연구가 필요함

Evaluation

총평: Automated AI research의 실현 가능성을 execution grounding 관점에서 실증적으로 검증한 선구적 연구로, evolutionary search의 효과와 RL의 mode collapse라는 상반된 결과를 균형 있게 제시하여 향후 연구 방향에 중요한 통찰을 제공한다.