Adaptive Proxy Evaluation for Autonomously Improving ML Agents

Motivation

• Known: 기존 자율 MLE 에이전트(AIDE, R&D-Agent, AutoMLGen, MLEvolve 등)들은 전체 학습이 너무 비싸기 때문에 짧은 학습, 작은 데이터, 적은 gradient step 등의 proxy evaluation을 사용해 탐색을 가능하게 만든다는 것이 알려져 있다.
• Gap: 약한 proxy는 초반에 좋아 보이다가 나중에 실패하는 후보를 승격시키고, 강한 proxy는 대규모로 실행하기엔 너무 비싸며, 각 후보가 자체적으로 평가 절차를 정의할 경우 self-reported metric으로 인해 후보 간 비교가 신뢰할 수 없게 된다는 문제가 있었고, 기존 연구들은 evaluation을 고정된 scaffolding으로 취급하여 이를 search의 first-class component로 다루지 않았다.
• Why: 평가 비용과 신뢰성 문제는 ML 엔지니어링뿐 아니라 과학 시뮬레이션, hyperparameter optimization, neural architecture search, 장시간 테스트가 필요한 agentic coding loop 등 다양한 분야의 자율 탐색 시스템에 공통적으로 존재하는 핵심 병목이기 때문에 중요하다.
• Approach: 코드 생성과 평가를 분리하여, LLM이 제약 하에 솔루션을 제안하고 deterministic harness가 모든 후보를 동일 조건에서 평가하도록 하는 외부 adaptive proxy 및 oversight layer를 설계하고 이를 MLEvolve의 Monte Carlo Graph Search 프레임워크 내에 구현했다.

Achievement

Figure 1. State-of-the-art MAE on MLE-Bench Ventilator Pressure

1. State-of-the-art 성능 달성: MLE-bench Ventilator Pressure Prediction task에서 12시간 예산, task-specific tuning 없이 단일 실행으로 MAE 0.1354를 달성하여 Claude Code, InternAgent, AIDE, R&D-Agent, ML-Master 2.0, AIRA-dojo, MLEvolve 등 기존 모든 방법을 능가했다.
2. Bounded proxy evaluation: 각 phase 내 모든 후보를 동일하고 deterministic한 조건에서 채점하는 체계를 마련했다.
3. Trajectory 기반 scoring: AUC, gain, instability를 고정 checkpoint에서 결합해 노이즈가 있는 endpoint loss보다 안정적인 학습을 보상하는 점수 체계를 도입했다.
4. Bradley-Terry arena: proxy가 유발하는 편향(빠르게 수렴하는 architecture family에 대한 편향)을 code-only pairwise 비교를 통해 교정하는 cross-family 랭킹 메커니즘을 구현했다.
5. Overseer Agent: 초기 proxy 설정 calibration, phase transition 스케줄링, iteration/time budget 관리를 인간 개입 없이 자동으로 수행하는 에이전트를 구현했다.

How

Figure 2. Method overview. An Overseer Agent runs the search in phases. Within a phase, an external harness scores every

• 각 candidate를 고정 CLI(gradient step, batch size, learning rate, dataset size)를 갖는 실행 가능한 Python script로 정의하고, phase 내 모든 candidate를 동일한 arguments와 fixed timeout으로 실행
• 150, 300, 500 gradient step 등 고정 checkpoint에서 validation trajectory를 기록하여 AUC-style term, gain term, instability penalty를 결합한 proxy score p = AUC + α·gain − β·instability 산출
• 탐색이 진행됨에 따라 discrete phase 단위로 proxy fidelity(gradient step ladder, batch size, data fraction, learning rate, timeout)를 점진적으로 상향 조정하는 adaptive schedule 적용
• proxy score만으로는 빠르게 수렴하는 family에 편향되므로, LLM judge가 code와 task description만 보고(proxy score 미제공) cross-family pairwise 비교를 수행하고 이를 Bradley-Terry model로 전역 재추정하여 BT strength 산출, 편법(hardcoded budget 등) 탐지 및 페널티 부여
• proxy score와 BT strength를 s = α·p̃ + β·wb(nb)·b̃로 결합한 composite score를 MCTS expansion에 사용하며, phase 경계를 넘어서는 비교는 BT만 사용
• Overseer Agent가 task metadata와 data sample을 검토해 초기 proxy 설정을 제안하고, phase transition과 budget을 관리하되 ML architecture 결정에는 개입하지 않음

Originality

• 기존 MLE 에이전트들이 evaluation을 고정된 scaffolding으로 취급한 것과 달리, evaluation 자체를 search의 first-class, adaptive component로 재정의한 관점의 전환
• 단순 endpoint loss가 아닌 전체 학습 trajectory(AUC, gain, instability)를 기반으로 한 scoring 방식
• code generation과 evaluation을 명확히 분리하여 self-reported metric 문제를 근본적으로 해결
• proxy score의 family-bias를 교정하기 위해 code-only LLM judge와 Bradley-Terry model을 결합한 arena 방식을 탐색 알고리즘에 통합한 점
• ML architecture 결정에는 개입하지 않고 평가 스케줄과 budget만 관리하는 Overseer Agent라는 역할 분리 설계

Limitation & Further Study

• 단일 task(MLE-bench Ventilator Pressure Prediction)에 대한 단일 run 결과에 크게 의존하고 있어, 다양한 task와 여러 seed에 대한 통계적 신뢰성(재현성, 분산) 검증이 부족함
• 발췌된 내용상 Overseer Agent의 phase transition trigger 조건이나 hyperparameter(α, β, nmin 등)의 민감도 분석이 충분히 제시되지 않음
• LLM judge 기반 pairwise 비교는 judge 자체의 편향이나 비용 문제를 내재할 수 있으며, judge 신뢰성에 대한 정량적 검증이 필요
• 다른 MLE-bench task나 다른 도메인(NAS, hyperparameter optimization 등)으로의 일반화 가능성에 대한 추가 실험이 필요

Evaluation

총평: evaluation을 search의 first-class 요소로 재정의하고 이를 adaptive proxy와 Bradley-Terry arena로 정교하게 구현한 실용적이고 독창적인 접근이며, 단일 task에서의 강력한 실증 결과가 인상적이지만 일반화 가능성에 대한 추가 검증이 필요하다.