MARS: Modular Agent with Reflective Search for Automated AI Research

Motivation

• Known: LLM 기반 에이전트는 GitHub 이슈 해결, 코드 자동완성 등 일반 소프트웨어 엔지니어링 작업에서 상당한 성과를 보여왔으며, 최근에는 이를 확장하여 자율적 AI 연구(Automated AI Research)를 목표로 하는 다양한 프레임워크(예: greedy search, MCTS, evolutionary search 기반)가 제안되었다.
• Gap: 기존 에이전트는 MLE(Machine Learning Engineering) 작업을 단순 코드 생성 문제로 취급해 학습(training) 등 계산 비용이 큰 평가 과정의 경제성을 무시하며, monolithic 스크립트를 생성해 모듈성이 부족하고, 성능 변화의 인과적 요인(credit assignment)을 파악하지 못해 과거 시행착오로부터 효과적으로 학습하지 못한다.
• Why: MLE는 확률적이고 계산 자원 집약적이며 성능 귀속이 불투명한 특성 때문에 일반 소프트웨어 엔지니어링과 근본적으로 다르며, 이 병목을 해결하지 않으면 상위 수준의 AI 연구 자동화 자체가 불가능하다는 점에서 중요하다.
• Approach: MARS는 연구 과정을 최적 소프트웨어 저장소(repository) 탐색 문제로 재정의하고, cost-constrained MCTS, 모듈화된 구현 파이프라인, 비교 기반 반성적 메모리라는 세 축을 결합해 비용과 성능을 동시에 고려하며 인과적 교훈을 축적한다.

Achievement

Figure 1. The “Aha!” moment of MARS on the challenging iMet-2020-FGVC7 task. The visualization tracks validation perform

1. MLE-Bench 최고 성능: 오픈소스 프레임워크 중 비교 가능한 설정에서 state-of-the-art 성능을 달성했으며, 글로벌 리더보드 상위 방법들과도 경쟁력을 유지했다.
2. 비용 대비 효율적 탐색: Budget-Aware MCTS를 통해 성능과 실행 비용을 명시적으로 균형 잡아, 유사한 성능이면 더 짧은 학습 시간을 선호하는 효율적 해를 우선시했다.
3. "Aha!" 순간 관찰: iMet-2020-FGVC7과 같은 난제 과제에서 기존 방법이 메달권에 도달하지 못하는 반면, MARS는 경량 residual network에서 앙상블 기법으로 전략을 점진적으로 발전시켜 실버 메달 수준을 달성했다.
4. 교훈의 교차 전이(cross-branch transfer): 활용된 전체 교훈의 63%가 서로 다른 탐색 분기(branch) 간 전이에서 비롯되어, 에이전트가 탐색 경로 전반에 걸쳐 통찰을 효과적으로 일반화함을 입증했다.

How

Figure 2. Overview of the MARS Framework. MARS reformulates long-horizon coding as a search for an optimal software repo

• Budget-Aware Planning: cost-constrained Monte Carlo Tree Search (MCTS)를 사용하여 효율성 유도 보상 함수를 탐색 트리에 직접 통합, 계산 비용이 큰 솔루션에 페널티를 부여하면서 고성능 전략의 활용(exploitation)과 새로운 아이디어의 탐험(exploration)을 균형 있게 조절.
• Modular Construction: "Design-Decompose-Implement" 파이프라인을 통해 특화된 에이전트들이 솔루션을 독립적이고 테스트 가능한 모듈로 아키텍처화하여, 복잡한 연구 저장소(repository)를 monolithic 스크립트 대신 전문 소프트웨어 아키텍처 방식으로 관리.
• Comparative Reflective Memory: 현재 솔루션과 최고 성능(best-known) 솔루션 간의 차이를 분석하여, 성능 변화를 유발한 특정 인과적 요인을 격리하고, 표준 메모리 메커니즘으로는 불가능한 방식으로 고신호(high-signal)의 교훈을 증류하여 lesson pool에 축적, 이후 탐색을 안내.
• MLE-Bench 벤치마크(Lite, Medium, Hard 등급 포함)에서 광범위한 평가 및 ablation study를 수행하여 각 메커니즘의 필요성을 검증.

Originality

• 기존의 budget-aware 방법들이 web search 등 이산적 행동(discrete action)에 대해 외부 플러그인 형태로 설계된 것과 달리, 효율성 유도 보상 함수를 MCTS 탐색 트리에 직접 통합하는 Budget-aware MCTS를 제안.
• monolithic 스크립트 생성 패러다임을 벗어나 repository-level 모듈화 파이프라인(Design-Decompose-Implement)을 도입해 복잡한 연구 저장소 관리 문제를 다룸.
• 실행 로그를 요약해 오류를 디버깅하거나 성공/실패의 이진적 궤적만 추적하는 기존 reflective learning/memory 연구와 달리, 코드 변경과 성능 변화 간의 인과 관계를 명시적으로 분석하는 "Lesson Learning" 메커니즘(Comparative Reflective Memory)을 제안하여 credit assignment 문제를 해결.

Limitation & Further Study

• 논문 발췌 부분에서는 MARS의 계산 오버헤드(추가 LLM 호출, 탐색 트리 유지 비용 등)에 대한 정량적 비용-편익 분석이 충분히 제시되지 않아, 실제 배포 시 추가되는 계산/비용 부담을 명확히 파악하기 어렵다.
• MLE-Bench라는 특정 벤치마크에 대한 평가에 집중되어 있어, 이미지 분류·표 형식 데이터 이외의 더 다양한 연구 도메인(예: NLP 연구, 이론 연구)에 대한 일반화 가능성은 추가 검증이 필요하다.
• Comparative Reflective Memory가 best-known 솔루션과의 비교에 의존하므로, 탐색 초반 좋은 기준 솔루션이 부재한 상황이나 다중 목표(multi-objective) 문제에서의 강건성에 대한 후속 연구가 필요하다.
• lesson pool의 확장에 따른 검색/활용 효율성(스케일링 특성)에 대한 장기적 분석이 추가로 요구된다.

Evaluation

총평: MARS는 MLE 작업의 고유한 제약(비용, 모듈성, credit assignment)을 체계적으로 다루는 세 가지 상호보완적 메커니즘을 통합해 자율 AI 연구 에이전트의 실용적 한계를 개선한 견고한 연구이며, MLE-Bench에서의 실증 결과와 정성적 "Aha!" 분석이 그 효과를 설득력 있게 뒷받침한다.