DSBench: How far are data science agents to becoming data science experts? arXiv preprint arXiv:2409.07703, 2024.

Motivation

• Known: 기존 데이터 과학 벤치마크들(DS-1000, Arcade, DSEval 등)은 단순화된 설정에 제한되어 있으며, 짧은 지시문, 단일 모달리티, 코드 생성 위주의 평가, 불완전한 end-to-end 평가 등의 한계를 가지고 있다.
• Gap: 기존 벤치마크는 현실의 데이터 과학 작업의 복잡성을 충분히 반영하지 못한다. 실제 작업은 긴 컨텍스트, 다중 모달리티, 대규모 데이터 파일 처리, 다중 테이블 구조 등을 포함하나, 기존 벤치마크는 이를 간과하고 있다.
• Why: LLM과 LVLM 기반 에이전트의 실제 데이터 과학 능력을 정확하게 평가하기 위해서는 현실적이고 포괄적인 벤치마크가 필수적이다. 이는 더 실용적이고 지능적인 데이터 과학 에이전트 개발을 위한 기초를 제공한다.
• Approach: ModelOff와 Kaggle 경쟁에서 현실적인 데이터 과학 작업들을 수집하여 벤치마크를 구성했다. 데이터 분석(정량적 질문 답변) 및 데이터 모델링(예측 모델 구축) 두 가지 범주로 분류하였으며, 장문의 컨텍스트, 다중 모달리티(텍스트, 이미지, 데이터 파일), 실행 가능한 평가 함수를 포함한다.

Achievement

Figure 4: Accuracy for baselines across all data analysis challenges in DSBench.

• 포괄적인 벤치마크 구축: 466개의 데이터 분석 작업과 74개의 데이터 모델링 작업 포함
• 현실적 설정 제공: 긴 컨텍스트(평균 797.9 단어), 다중 모달리티, 대규모 데이터 파일, 다중 테이블 구조 등을 포함
• 새로운 평가 메트릭: 서로 다른 평가 지표를 정규화하는 Relative Performance Gap (RPG) 메트릭 제안
• 광범위한 모델 평가: GPT-4o, Claude, Gemini 등 최신 LLM/LVLM 및 에이전트 평가로 성능 격차 명확화
• 성능 벤치마크: 최고 성능 에이전트가 데이터 분석 34.12%, 데이터 모델링 34.74% RPG 달성으로 현저한 개선 필요성 증명

How

Figure 4: Accuracy for baselines across all data analysis challenges in DSBench.

• ModelOff와 Kaggle에서 현실적인 데이터 과학 작업 수집 및 정제
• 데이터 분석 작업은 정량적 질문에 대한 정확도로 평가
• 데이터 모델링 작업은 다양한 평가 지표를 정규화하는 RPG 메트릭으로 평가
• LLM, LVLM, 에이전트 기반 접근법을 포함한 다양한 베이스라인 구현 및 비교

Originality

• 현실성 강조: 기존 벤치마크와 달리 코드 생성 위주가 아닌 end-to-end 데이터 과학 작업에 집중
• 다중 모달리티 통합: 텍스트, 이미지, 데이터 파일을 모두 포함한 통합적 작업 설정
• RPG 메트릭: 서로 다른 수치 범위와 평가 차원의 메트릭들을 정규화하는 새로운 평가 방식 제안
• 규모와 다양성: 540개 작업으로 기존 데이터 과학 벤치마크 중 가장 포괄적인 규모와 현실성 제공

Limitation & Further Study

• 한계: 모든 작업이 오픈 엔드 형식이 아니라 선택지 기반 또는 숫자 입력 기반으로 제한되어 있어, 완전한 자유도의 문제 해결 능력을 평가하지 못함
• 후속 연구: (1) 개방형 문제 형식의 추가 작업 확대, (2) 더 복잡한 다중 단계 모델링 작업 포함, (3) 도메인 특정 데이터 과학 작업(시계열, 자연어 처리 등)의 확장, (4) 에이전트 자율성 및 에러 복구 능력에 대한 평가 심화

Evaluation

총평: DSBench는 현실적인 데이터 과학 작업을 통해 LLM/LVLM 기반 에이전트의 실제 능력을 평가하는 중요한 벤치마크이다. 포괄적인 작업 설계, 새로운 평가 메트릭, 광범위한 모델 평가를 통해 데이터 과학 에이전트 연구에 의미 있는 기여를 한다.