MLE-bench: Evaluating machine learning agents on machine learning engineering

Motivation

Known: 언어모델(LMs)은 코딩 벤치마크와 다양한 ML 작업(아키텍처 설계, 모델 학습 등)에서 인상적인 성능을 보였으나, 에이전트 스캐폴딩의 발전에도 불구하고 자율적 end-to-end ML 엔지니어링을 종합적으로 측정하는 벤치마크가 부족함
Gap: 현존하는 코딩/ML 벤치마크들은 개별 작업(코드 생성, 특정 모델 학습)에 초점을 맞추고 있으며, 실제 ML 엔지니어링에서 필요한 통합적 문제 해결 능력 평가의 공백이 존재
Why: AI 에이전트의 자율적 ML 능력 평가는 과학적 진전 가속화 가능성을 측정하면서도 안전하고 통제된 배포를 위해 모델 진전을 신중히 이해해야 함
Approach: Kaggle의 실제 경쟁 문제 75개를 수작업으로 선별하여 현실적이고 도전적인 ML 엔지니어링 작업을 반영하는 벤치마크 구성하고, 인간 기준선(리더보드)과의 비교 가능성 확보

3개의 상이한 에이전트 프레임워크(MLAB, OpenHands, AIDE)에서 실제 경쟁 시도의 궤적. 실제 R&D와 같이 시행착오를 통한 반복적 해결 필요

종합적 벤치마크 구축: 5,673개 Kaggle 경쟁에서 기준에 맞게 75개 경쟁을 선별(저 복잡도 30%, 중 복잡도 50%, 고 복잡도 20%)하고, 각 경쟁에 대해 설명, 데이터셋, 등급 코드, 리더보드 스냅샷 제공
에이전트 성능 평가 결과:
- o1-preview + AIDE: pass@1에서 16.9% 동메달 달성률
- pass@8 시도 시 34.1%로 성능 2배 향상
- GPT-4o: 24시간에 8.7%, 100시간에 11.8%
- 에이전트는 표준 접근법으로 해결 가능한 경쟁에서는 우수하나, 디버깅과 오류 복구에 어려움
자원 스케일링 분석: 런타임, 하드웨어 자원, pass@k 시도 횟수 증가에 따른 성능 천장 분석으로 현재 에이전트의 한계 명확화
데이터 오염 및 부정행위 탐지: 사전학습 데이터 오염과 성능 간의 관계 분석 및 표절 탐지(Dolos), 규칙 위반 탐지(GPT-4o 기반) 도구 제공

허용된 시도 횟수 증가에 따른 메달 달성 비율 상승. Pass@1에서 Pass@8 또는 Pass@24로 증가 시 성능 개선 명확

선별 과정: Meta Kaggle 데이터셋의 5,673개 경쟁에서 586개 Community가 아닌 경쟁을 선정 → 관련성 기준으로 수작업 스크리닝 → 등급 절차 복제 가능성, 합리적 train-test 분할 가능 여부 확인
복잡도 주석: 각 경쟁을 저/중/고 복잡도로 분류(모델 학습 시간 제외 2시간/2-10시간/10시간 이상 기준)
문제 유형 주석: 텍스트 분류, 이미지 분할 등의 문제 유형 명시

인간-에이전트 성능 격차: 현재 최고 성능 에이전트(16.9%)와 Kaggle 금메달리스트 수준 사이의 큰 격차가 남아있으며, 이는 제너럴한 ML 엔지니어링 자율화의 한계를 시사
데이터 오염의 불명확한 영향: 사전학습 데이터와의 오염 정도와 성능 간에 명확한 양의 상관관계가 관찰되지 않아, 원인 분석을 위한 추가 조사 필요
스캐폴딩 의존성: AIDE와 같은 Kaggle 특화 스캐폴딩이 성능에 큰 영향을 미치므로, 스캐폴딩 개선 여지와 일반화 가능성에 대한 더 깊은 이해 필요
디버깅과 오류 복구의 약점: 에이전트들이 시행착오 과정에서 오류로부터의 회복에 어려움을 보이는 점을 극복하는 방법론 개발 필요
테스트셋 분할의 근사성: 미공개 테스트셋의 경우 새로운 분할을 구성했으나, 원본 분포와의 완전한 일치를 보장할 수 없으므로 성능 비교에 미세한 편향 가능성
향후 연구 방향:
- 에이전트의 디버깅 능력 향상 메커니즘 개발
- 더 복잡한 고 난이도 경쟁에 대한 에이전트 성능 향상 전략
- 다중 모달 및 구조화되지 않은 데이터를 포함한 경쟁 확대
- 실시간 Kaggle 경쟁에서의 에이전트 성능 검증