Executable Code Actions Elicit Better LLM Agents

같이 보면 좋은 논문

기반 연구

Openhands: An open platform for ai software developers as generalist agents

코드 실행 기반 에이전트 성능 향상 기법을 설명함으로써, Openhands의 실제 소프트웨어 개발/디버깅 자동화의 핵심 기술에 기여한다.

기반 연구

Opendevin: An open platform for ai software developers as generalist agents

Executable Code Actions 논문은 실행 가능한 코드 기반 벤치마크를 활용해 OpenDevin과 같은 개발자 도구형 멀티에이전트 평가에 이론, 방법적 토대를 제공한다.

기반 연구

LLM Agents Making Agent Tools

LLM 에이전트의 도구 활용 및 액션 설계에 관한 이론적 바탕을 제공합니다.

기반 연구

ShinkaEvolve: Towards Open-Ended And Sample-Efficient Program Evolution

754번 논문의 LLM 기반 코드 생성, 디버깅과 프로그램 진화 평가는 LLM의 코드 능력 벤치마킹에 관한 325 논문의 결과와 밀접하게 연관됩니다.

기반 연구

ResearchCodeBench: Benchmarking LLMs on Implementing Novel Machine Learning Research Code

325 논문은 LLM 기반 코드 에이전트가 실제로 코드 생성·수정·실행에서 어느 정도 실행 가능성과 문제 해결 능력을 보이는지 정량적으로 검증하며, ResearchCodeBench의 코드 변환 성능 평가에 이론적 토대를 제공합니다.

기반 연구

The mighty torr: A benchmark for table reasoning and robustness

문서 내 액션 기반 평가 프레임워크(CodeAct)는 다양한 표 데이터 작업에서 LLM의 표 데이터 reasoning 및 행동 평가에 이론적 근거를 제공합니다.

기반 연구

StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

StableToolBench의 벤치마크 환경은 실행 가능한 코드 기반 에이전트 평가 방식(CodeAct)의 신뢰성과 재현성 보장을 위한 기반을 제공합니다.

기반 연구

MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration

325 논문은 코드 작성 및 실행이 LLM 기반 에이전트의 성능에 미치는 영향과 설계 전략을 상세히 분석하므로 MatClaw(3160)에 기술적 배경을 제공합니다.

기반 연구

An AI system to help scientists write expert-level empirical software

LLM 기반 에이전트의 코드 생성 및 실험 자동화 능력 확보에 필요한 핵심 이론과 평가 방법을 제시해 3288 시스템의 기초가 됩니다.

다른 접근

Toolformer: Language Models Can Teach Themselves to Use Tools

813 논문도 LLM 에이전트의 도구 사용을 자가 지도학습으로 개선하나, 325는 실행 가능한 코드 중심의 프레임워크라는 점이 차별점입니다.

다른 접근

Hyperagent: Generalist software engineering agents to solve coding tasks at scale

Executable Code Actions 논문은 다양한 실세계 코딩 작업에서 LLM 에이전트 성능을 시험해 HYPERAGENT와 유사문제를 다루지만 접근 방식이 다릅니다.

다른 접근

PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier

두 논문 모두 LLM 활용 워크플로우에서 모델의 능동적 자기수정·자기평가를 다루나, 598은 검증-수정 RL 구조, 325는 실행 가능한 코드 기반 LLM 에이전트의 성능을 고도화합니다.

다른 접근

Knowledge-guided large language model for material science

유전자 분석 등 생명과학 중심의 AI 에이전트 워크플로우 사례와 재료과학 내 LLM 활용법을 비교해 참고할 수 있습니다.

다른 접근

ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies

Executable Code Actions 논문은 코드 생성 과정에서 실행 가능성과 성능 향상을 위한 LLM 에이전트 방법을 다루어 직접 비교할 만하다.

다른 접근

A data-efficient foundation model for porous materials based on expert-guided supervised learning

325 논문은 합금 설계·발견에서 physics-aware agentic 시스템을 도입해, SpbNet과 물질 설계 문제 해결 방식에서 비교됩니다.

후속 연구

Teaching Large Language Models to Self-Debug

실행가능 코드(Action)를 통한 LLM 에이전트 성능 향상 연구로, 자기 디버깅의 실용적 확장 사례가 제시됩니다.

후속 연구

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

Executable Code Actions 논문은 여러 도구 사용 시나리오에서 LLM 에이전트의 API 결합·평가 기술을 확장합니다.

후속 연구

Autonomous microscopy experiments through large language model agents

Executable Code Actions Elicit Better LLM Agents 논문에서 과학 실험에 필요한 코드 생성 및 실행 능력을 새롭게 분석하여, LLM 기반 자동 현미경 워크플로우의 실제 작동가능성과 연결된다.

후속 연구

DSBench: How far are data science agents to becoming data science experts? arXiv preprint arXiv:2409.07703, 2024.

Executable Code Actions 논문은 LLM 에이전트의 코드 실행 능력이 데이터 과제 해결을 어떻게 향상시키는지 분석해 DSBench 평가의 해석을 보완해줍니다.

후속 연구

LLM Agents Making Agent Tools

코드 실행 기반 LLM agent 평가를 통해 과학도구 생성 에이전트의 실질적 성능 분석을 더함.

후속 연구

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

Executable Code Actions 논문은 RL 기반 에이전트의 코드 실행·평가 기법을 통해 강화학습의 일반화 실증적 사례를 제시합니다.

후속 연구

AutoP2C: An LLM-Based Agent Framework for Code Repository Generation from Multimodal Content in Academic Papers

Executable Code Actions 논문은 LLM이 코드 실행을 내포한 작업에서 어떻게 더 나은 결과를 얻는지를 분석하여, AutoP2C의 실행 가능한 코드 저장소 구성 능력과 직접적으로 연결됩니다.

후속 연구

Knowing when to trust machine-learned interatomic potentials

코드 기반 LLM 에이전트를 통한 실행성과 신뢰도 평가 방법을 다루며, MLIP 신뢰성 평가와 유사한 자동화 방식을 취한다.

후속 연구

Generative Quantum-inspired Kolmogorov-Arnold Eigensolver

프로그래머블 코드 액션 실행으로 강화학습적 최적화를 도입한 대규모 모델의 효율성 벤치마킹 논문입니다.

응용 사례

MLCopilot: Unleashing the power of large language models in solving machine learning tasks

실행 가능한 코드 기반 행위의 시범 사례를 통해, ML 작업 솔루션 자동 생성에서 LLM의 도구 사용/행동 연계 방법을 실무에 적용할 수 있습니다.

응용 사례

Codegen: An open large language model for code with multi-turn program synthesis

325번 논문은 실행 가능한 코드 액션 연계가 LLM 에이전트의 성능을 개선하는 실제 사례를 보여주어, 231의 멀티턴 합성 패러다임 효과를 응용 관점에서 확장시켜줍니다.

응용 사례

OSDA Agent: Leveraging Large Language Models for De Novo Design of Organic Structure Directing Agents

594 논문은 325의 코드 실행 에이전트 액션 메커니즘을 화학 구조 설계 실문제에 적용하는 연구 사례입니다.

응용 사례

StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

StableToolBench는 ToolBench의 실행·평가 불안정성 개선 접근이 CodeAct 방식의 에이전트 평가와 실제 검증 환경에서 어떻게 연계될 수 있는지 보여줍니다.

Executable Code Actions Elicit Better LLM Agents

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

Executable Code Actions Elicit Better LLM Agents

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

🎧 Audio Overview