Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

Motivation

• Known: 기존 LLM4DS 및 Agentic LLM 평가는 대부분 사용자 질문이나 명시적 목표가 주어진 상태에서 과제를 잘 수행하는지(executional intelligence)를 측정하며, 오픈 웹 검색 기반의 deep research 벤치마크 역시 존재하지만 구조화된 데이터가 아닌 비정형 웹 콘텐츠에 국한되어 있다.
• Gap: 데이터로부터 스스로 무엇을 탐구할지 결정하는 investigatory intelligence를 평가하는 벤치마크가 부재하며, 기존 AI4DS 평가는 명시적 지시나 소규모 상호작용(수십 턴 이하)에 의존해 open-ended하고 long-horizon한 자율 탐색 능력을 제대로 측정하지 못한다.
• Why: 진정한 agentic 지능은 주어진 목표를 잘 수행하는 것을 넘어 스스로 탐색 방향을 설정하고 종료 시점을 판단하는 자율성에 있으며, 이를 검증 가능한 방식으로 측정하는 것은 실제 데이터 과학 자동화와 agentic LLM의 신뢰성 있는 발전에 필수적이다.
• Approach: 저자들은 사전 질문 없이 최소한의 시작 프롬프트만 제공하고, LLM이 SQL/Python 등의 도구를 사용해 무제한 라운드 동안 데이터베이스를 자율 탐색한 뒤 스스로 종료 시점을 판단하여 통찰 보고서를 생성하는 DDR 과제를 정의하고, 데이터베이스의 자유 텍스트 요소에서 도출한 체크리스트로 보고서의 사실성을 검증하는 DDR-Bench를 구축했다.

Achievement

Figure 4. Inference-time scaling performance in DDR-Bench across different dimensions. The y-axis reports checklist accu

1. DDR 과제 정형화: 질문·목표·상호작용 제한 없이 구조화 데이터베이스만 주어진 상태에서 에이전트가 가설 생성, 검증, 탐색 종료 판단까지 스스로 수행하는 open-ended 과제(DDR)를 최초로 정식화했다.
2. DDR-Bench 구축: 실제 대규모 데이터베이스를 기반으로 message-wise 및 trajectory-wise insight를 체크리스트 기반으로 검증 가능하게 평가하는 대규모 벤치마크를 제시했다.
3. 프런티어 모델 분석: Claude Sonnet 4.5 등 최신 모델들이 초기 agency는 보이지만 long-horizon 탐색에서 여전히 한계를 보이며, 성능이 단순 스케일링이나 scaffolding보다 모델 고유의 탐색 전략(intrinsic strategy)에 크게 의존함을 실증했다.

How

Figure 2. A case of Claude Sonnet 4.5’s trajectory and evaluation checklist in the MIMIC scenario of DDR-Bench. Verified

• Task formalization: I = DDR(LLM, D, T)로 정의, 에이전트가 SQL/Python 툴셋 T를 사용해 데이터베이스 D를 무제한 라운드 동안 ReAct 스타일(reasoning r, tool call t, observation o)로 반복 탐색.
• 최소 시작 프롬프트: task entity만 제공(예: “Start analysing the user with userid=2048”), 명시적 목표나 질문 없이 기본 메타데이터만 최초 제공.
• 이중 insight 생성: 매 라운드마다 생성되는 message-wise insight Im과, 자율 종료 시점에 전체 trajectory를 종합하는 trajectory-wise insight It를 구분해 수집.
• 체크리스트 기반 평가: 데이터베이스의 자유 텍스트(free-form) 구성요소에서 사람이 검수한 체크리스트 질문-답변 쌍을 자동 생성하고, 생성된 insight가 각 체크리스트 항목을 지지하는지 검증해 factual verification 수행.
• 에이전트 스캐폴딩 최소화: 미니멀 디자인의 ReAct 에이전트를 사용해 특정 scaffold나 프롬프트 엔지니어링 효과를 배제하고 순수 모델 능력을 평가.
• 다각도 분석: 탐색 패턴(Figure 5), inference-time scaling(Figure 4), novelty와 accuracy 간 순위 비교(Figure 3) 등 다양한 관점에서 long-horizon 상호작용을 체계적으로 분석.

Originality

• 기존 연구가 혼재해서 다루던 executional intelligence와 investigatory intelligence를 명확히 구분하고, 후자를 명시적으로 정의 및 정형화한 최초의 시도.
• 질문·목표·상호작용 턴 수 제한이 전혀 없는 완전 open-ended 데이터 탐색 과제를 제안한 점에서 기존 AI4DS(수십 턴 이하)나 NL2SQL/Table QA 패러다임과 근본적으로 차별화됨.
• 자유 텍스트 기반 체크리스트를 활용해 open-ended 보고서를 주관적 rubric 없이 객관적이고 검증 가능하게 평가하는 방법론을 고안.

Limitation & Further Study

• 체크리스트가 데이터베이스의 자유 텍스트 요소에서 도출되므로, 정형(structured) 필드에 담긴 통찰이나 자유 텍스트로 표현되지 않는 미묘한 패턴은 평가에서 누락될 가능성이 있음.
• 벤치마크가 특정 도메인(예: 임상 MIMIC류 데이터베이스로 추정)에 집중되어 있어 다양한 산업/도메인 데이터베이스로의 일반화 가능성 검증이 추가로 필요함.
• 미니멀 scaffold를 사용함으로써 실제 프로덕션 환경에서 사용되는 정교한 에이전트 설계와의 성능 격차를 완전히 반영하지 못할 수 있음.
• 향후 연구로 더 다양한 데이터베이스 유형, 멀티모달 데이터, 그리고 investigatory intelligence를 향상시키기 위한 학습/파인튜닝 방법론 탐구가 필요.

Evaluation

총평: Agentic LLM 평가에서 간과되어 온 investigatory intelligence라는 개념을 명확히 정의하고 이를 검증 가능하게 측정하는 벤치마크를 제시한 점에서 시의적절하고 독창적인 기여이며, 다만 체크리스트 방식의 근본적 한계와 도메인 일반화 검증이 향후 과제로 남는다.