/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/429_Infiagent-dabench_Evaluating_agents_on_data_analysis

Essence

An illustration of evaluation on InfiAgent-DABench. A LLM-based agent is prompted with a data analysis question and

InfiAgent-DABench는 LLM 기반 에이전트가 CSV 파일에 대해 end-to-end로 데이터 분석 작업을 수행하는 능력을 평가하기 위한 최초의 벤치마크로, 폐쇄형(closed-form) 질의응답 형식과 자동 채점 방식을 제안한다.

Known: HumanEval, MBPP, DS-1000과 같은 코드 완성 벤치마크가 존재하지만 이들은 코드 스니펫 삽입/완성 수준의 능력만을 평가하며, LLM 에이전트의 계획 수립, 코드 작성, Python sandbox 활용, self-debugging 등 복합적 능력을 평가하지 못한다.
Gap: 데이터 분석 작업은 본질적으로 open-ended하여 사람의 감독 없이 자동으로 평가하기 어렵고, 이를 end-to-end 에이전트 관점에서 종합적으로 평가할 수 있는 벤치마크가 부재했다.
Why: 데이터 분석은 비즈니스 인텔리전스, 헬스케어, 금융, 과학 연구 등 다양한 분야에서 실용적으로 중요한 과제이며, LLM 에이전트가 자연어와 코드를 조화시켜 실제 문제를 해결하는 능력을 검증하는 것은 AGI로 나아가는 에이전트 연구에서 핵심적인 벤치마킹 수요다.
Approach: GPT-4를 이용해 52개의 실제 CSV 파일로부터 257개의 open-ended 질문을 생성한 뒤, format-prompting 기법으로 각 질문을 "@answer_name[answer]" 형태의 폐쇄형(closed-form) 포맷으로 변환하여 자동 평가가 가능하도록 하고, 이를 기반으로 34개의 LLM을 벤치마킹하며 전용 에이전트 DAAgent를 개발한다.

The workflow of DAEval construction. Data analysis questions are generated with GPT-4 based on the description of CSV

DAEval 데이터셋 구축: 52개 CSV 파일 기반 257개 데이터 분석 질문을 생성하고, 전문가 인터뷰로 도출한 핵심 개념(concepts)에 기반해 질문을 만들었으며 엄격한 인간 평가를 거쳐 불량 샘플을 필터링함.
자동 평가 가능한 벤치마크 설계: format-prompting 기법으로 open-ended 질문을 constraints와 format 요구사항을 포함한 closed-form 질문으로 변환, "@answer_name[answer]" 형식을 통해 사람 개입 없이 정답 매칭이 가능하도록 함.
34개 LLM 대규모 벤치마킹: 현재 최첨단 LLM들이 데이터 분석 과제에서 여전히 어려움을 겪는다는 것을 실증적으로 밝힘.
DAAgent 개발: DAInstruct라는 instruction-tuning 데이터셋을 자동 구축하는 방법을 제안하고, 이를 이용해 오픈소스 LLM을 파인튜닝하여 DAAgent를 개발했으며, 최대 모델인 DAAgent-34B가 GPT-3.5 대비 3.9% 성능 향상을 달성함.

The workflow of DAEval construction. Data analysis questions are generated with GPT-4 based on the description of CSV

CSV 파일을 GitHub에서 크롤링하고 각 컬럼에 대한 description을 생성
데이터 분석 분야의 핵심 개념(concepts)을 전문가 인터뷰를 통해 사전 정의
description과 concepts를 결합해 GPT-4로 open-ended 질문 생성
format-prompting을 적용해 각 질문에 constraints와 answer format("@answer_name[answer]")을 추가하여 closed-form으로 변환
OpenAI ADA(Advanced Data Analysis)를 이용해 정답 레이블 생성
인간 전문가에 의한 다차원 품질 검증 및 불량 샘플 필터링
ReAct 방식(계획-코드작성-Python sandbox 실행-결론)을 따르는 에이전트 프레임워크를 구축해 LLM들을 서빙 및 평가
데이터 분석 키워드와 실제 CSV 파일 기반으로 DAInstruct instruction-tuning 데이터셋을 자동 구성하고, 에이전트 프레임워크와 GPT-4로 응답 생성 후 오픈소스 LLM을 파인튜닝하여 DAAgent 개발

데이터 분석 작업에 특화된 최초의 LLM 에이전트 평가 벤치마크를 제안한 점
open-ended 데이터 분석 질문을 자동 평가 가능한 closed-form으로 변환하는 format-prompting 기법 고안
실제 CSV 파일과 전문가 개념 기반으로 질문을 생성하는 반자동 파이프라인 설계
벤치마크 평가뿐 아니라 instruction-tuning 데이터셋(DAInstruct) 자동 구축 및 전용 에이전트(DAAgent) 개발까지 포괄하는 end-to-end 연구 설계

정답 레이블이 GPT-4 기반 OpenAI ADA의 출력에 의존하므로, ADA 자체의 오류나 편향이 벤치마크 정답에 반영될 위험이 있음
257개 질문, 52개 CSV 파일이라는 비교적 제한된 규모로 다양한 실제 데이터 분석 시나리오를 완전히 커버하기 어려울 수 있음
closed-form 포맷으로의 변환 과정에서 원래 open-ended 질문이 가진 복잡성이나 다양한 해법 가능성이 축소될 수 있음
후속 연구로 더 다양한 도메인과 더 복잡한 다단계 분석 작업, 그리고 사람이 아닌 다른 검증 메커니즘(예: 다중 정답 허용)에 대한 확장이 필요함