AIBuildAI: An AI Agent for Automatically Building AI Models

Motivation

• Known: 기존 AutoML 방법은 미리 정의된 탐색 공간 내에서 hyperparameter optimization과 model selection에 국한되며, 최근 LLM 기반 coding agent들은 단일 LLM call로 코드 솔루션을 반복 수정하는 방식으로 AI 모델 자동 구축을 시도해왔다.
• Gap: 단일 LLM call 기반 coding agent는 한 단계에서 수행 가능한 수정의 복잡도에 제약이 있고, 모델링 전략 설계·구현·튜닝이라는 서로 다른 목표를 가진 개발 단계들을 하나의 에이전트가 모두 처리하기 어렵다는 한계가 있다.
• Why: AI 모델 개발 전체 생애주기를 사람 전문가 개입 없이 자동화할 수 있다면, 과학·의료·금융 등 다양한 분야에서 AI 개발에 대한 접근성을 크게 높이고 전문가 의존도를 낮출 수 있다.
• Approach: manager agent가 designer(모델링 전략), coder(구현 및 디버깅), tuner(학습 및 성능 최적화)라는 세 개의 LLM 기반 서브 에이전트를 조율하는 계층적 구조를 도입하여, 각 서브 에이전트가 multi-step reasoning과 tool use를 통해 자체적으로 여러 라운드의 LLM call을 수행하도록 설계했다.

Achievement

1. MLE-Bench 리더보드 1위 달성: AIBuildAI는 75개의 실제 Kaggle 스타일 과제로 구성된 MLE-Bench에서 medal rate 63.1%를 기록하며 AIRA-dojo, MLEvolve, ML-Master 등 26개의 기존 baseline을 모두 능가했다.
2. 난이도별 최고 성능: low-, medium-, high-complexity 세 구간(22/38/15개 과제)에서 각각 77.27%, 61.40%, 46.67%의 medal rate를 기록했으며, 특히 가장 어려운 high-complexity split을 포함한 medium·high 구간에서 1위를 차지했다.
3. 이미지 분류 과제 전 영역 우위: 자연 이미지, 세밀 분류, 의료 영상, 보안 관련 이미지 분류 등 10개 image classification 과제에서 MLEvolve와 AIRA-dojo 두 baseline을 모두 능가했다.

How

• manager agent가 designer 서브 에이전트를 호출해 다양한 아키텍처(EfficientNet, ResNet, ConvNeXt, Swin Transformer, Wide-ResNet 등) 기반의 여러 solution candidate를 제안하도록 함
• manager가 candidate들을 검토해 일부를 선정한 뒤 coder 서브 에이전트로 구현하고 tuner 서브 에이전트로 학습 파라미터를 최적화하여 validation 결과를 획득
• validation 결과를 바탕으로 manager가 designer에게 candidate 수정을 지시하는 등 실행 이력 전체에 대한 long-context reasoning을 통해 적응적으로 후보를 관리
• 최종적으로 aggregator agent가 여러 모델을 rank-based ensemble로 결합하여 최종 솔루션을 구성
• MLE-Bench의 시각, 텍스트, 시계열, 정형 데이터 등 다양한 modality 과제에 대해 task-specific customization 없이 평가

Originality

• 단일 LLM call로 코드를 반복 수정하는 기존 coding agent 방식과 달리, 모델링 전략 설계·구현·튜닝이라는 서로 다른 개발 단계를 각각 전담하는 세 개의 독립적 LLM 기반 서브 에이전트로 분리한 계층적 구조를 제안
• 사전 정의된 탐색 정책(search policy) 대신 manager agent가 전체 실행 이력에 대한 long-context reasoning을 통해 적응적이고 맥락 인지적인 의사결정을 내리도록 설계
• 각 서브 에이전트가 단일 호출 내에서 다중 라운드의 LLM call과 tool interaction을 수행하도록 하여 복잡한 수정 작업을 하나의 단계로 압축

Limitation & Further Study

• 논문 발췌 내용상 high-complexity 과제에서도 medal rate가 46.67%에 그쳐 가장 어려운 과제에서는 여전히 절반 이상의 실패율을 보이며, 이에 대한 원인 분석이나 개선 방향이 본문에서 충분히 제시되지 않음
• MLE-Bench라는 Kaggle 스타일 벤치마크에 특화된 평가로, 실제 산업/연구 현장의 비정형적이고 open-ended한 문제에 대한 일반화 가능성은 추가 검증이 필요함
• 계산 비용(컴퓨팅 budget, LLM call 수 등)에 대한 상세한 분석이 부족하여 실제 배포 시의 비용 대비 효과를 판단하기 어려움
• 후속 연구로 서브 에이전트 간 통신 프로토콜의 효율성 개선, 더 다양한 실제 도메인(비-Kaggle) 과제로의 확장 검증이 필요해 보임

Evaluation

총평: AutoML의 한계를 넘어 AI 모델 개발 전체 파이프라인을 계층적 멀티 에이전트 구조로 자동화하고 실제 벤치마크에서 최고 성능을 입증한 의미 있는 연구이나, high-complexity 과제에서의 한계와 비용 분석 부족은 향후 보완이 필요하다.