ScholarSearch: Benchmarking Scholar Searching Ability of LLMs

Essence

Figure 1: The data collection pipeline of ScholarSearch. Data sourced by students from academic publications or websites

본 논문은 학술 검색 분야에서 LLM의 능력을 평가하기 위해 ScholarSearch라는 새로운 벤치마크 데이터셋을 제안한다. 기존 BrowseComp 등의 벤치마크는 일반적 검색에 초점을 맞추고 있어서 학술적 검색의 복잡한 요구사항을 충분히 다루지 못하므로, 이를 해결하기 위해 223개의 고품질 질문으로 구성된 데이터셋을 개발했다.

Motivation

Known: 기존 학술 벤치마크(MMLU, GPQA, SuperGPQA)는 정적 지식에 대한 이해와 추론을 평가하지만 실시간 정보 검색을 요구하지 않는다. Browse 벤치마크(GAIA, WebVoyager, WebArena)는 일반 웹 네비게이션에 초점을 맞추고 있으며, 최근 Grok DeepSearch, Gemini Deep Research, OpenAI Deep Research 등의 깊은 검색 능력이 등장했지만 이를 체계적으로 평가하는 벤치마크는 부족하다.
Gap: 학술 검색의 특수한 요구사항 — 깊은 문헌 추적, 학술 데이터베이스 지원, long-tail 학술 지식 네비게이션, 학술적 엄밀성 — 을 구체적으로 평가할 수 있는 벤치마크가 존재하지 않으며, 현존하는 벤치마크들은 학술 연구의 복잡하고 반복적인 정보 검색 능력을 제대로 측정하지 못한다.
Why: 학술 연구 분야는 과학의 진보가 빠르게 이루어지므로 LLM이 최신 정보를 실시간으로 검색하고 통합하는 능력이 매우 중요하다. 기존 정적 벤치마크와 일반 웹 검색 벤치마크로는 학술적 깊이와 엄밀성이 필요한 실제 연구 환경의 요구를 반영하지 못하므로, 학술 검색에 특화된 평가 도구의 개발이 필수적이다.
Approach: ScholarSearch는 학생들이 학술 출판물과 웹사이트에서 수집한 질문들을 Grok DeepSearch와 Gemini Deep Research 같은 강력한 검색 LLM을 사용하여 검증하는 방식으로 구축되었다. 데이터는 Uniqueness(답의 유일성), Source Accessibility(출처의 인터넷 접근성), Academic Correctness(학술적 정확성) 등의 기준을 통해 전문 검토팀에 의해 검증되며, 최소 3번의 깊은 검색이 필요하고 단일 모델로는 답하기 어려운 질문들로 선별된다.

Achievement

Figure 1: The data collection pipeline of ScholarSearch. Data sourced by students from academic publications or websites

첫 번째 학술 특화 벤치마크: 학술 검색에 특화된 최초의 체계적 벤치마크 데이터셋 개발
고품질 데이터셋: 223개의 엄격하게 검증된 고난도 질문으로 구성
광범위한 학문 영역: 15개 이상의 다양한 학문 분야 포함
명확한 평가 기준: 출처, 검증 가능성, 학술적 엄밀성이 보장된 구조화된 평가 방식
공개 리소스: Hugging Face에 데이터셋 공개로 커뮤니티 기여

How

Figure 1: The data collection pipeline of ScholarSearch. Data sourced by students from academic publications or websites

Grok DeepSearch와 Gemini Deep Research를 활용한 다단계 검증 프로세스 구현
학생들의 초기 질문 수집을 LLM 필터링으로 어려운 질문 사전 선별
전문 검토팀의 Uniqueness, Source Accessibility, Academic Correctness 검증
최소 3번의 깊은 검색이 필요한 조건으로 난이도 보장
각 질문에 대해 명확한 출처와 간단한 풀이 제공으로 감시 및 검증 용이
15개 이상의 학문 분야에서 균형잡힌 데이터 수집

Originality

기존의 정적 학술 벤치마크(MMLU, GPQA)와 일반 웹 검색 벤치마크(GAIA, WebVoyager)의 격차를 명확히 식별하고, 학술 검색에 특화된 새로운 벤치마크 범주 창설
Grok DeepSearch와 Gemini Deep Research 같은 최신 깊은 검색 모델들을 벤치마크 구축 과정에 적극 활용하여 현실적이고 도전적인 질문 보장
단순한 데이터셋을 넘어 Academic Practicality, High Difficulty, Concise Evaluation, Broad Coverage라는 명확한 설계 철학 제시

Limitation & Further Study

데이터셋 규모: 223개 질문은 BrowseComp의 1,266개에 비해 상대적으로 작은 규모이며, 통계적 신뢰성을 위해 더 많은 데이터 필요 가능
언어 제한: 영어 위주의 학술 자료에 의존하고 있어 다언어 학술 환경에 대한 포괄성 부족
모델 의존성: 데이터 구축 과정에서 Grok DeepSearch와 Gemini Deep Research의 성능에 의존하므로, 이들 모델의 편향이 벤치마크에 반영될 가능성
역동적 평가의 한계: 온라인 자료 변동에 따른 장기적 타당성 및 유지보수 방안 미명시
평가 메트릭 부재: 제시된 발췌본에서 구체적인 평가 메트릭이나 기존 모델들의 성능 비교 결과 미제시

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: ScholarSearch는 학술 정보 검색이라는 중요하지만 미충족된 평가 영역을 처음으로 체계적으로 다룬 의미있는 기여이다. 엄격한 데이터 구축 방법론과 Academic Practicality, High Difficulty 등의 명확한 설계 목표가 강점이다. 다만 데이터셋 규모, 구체적인 평가 메트릭 제시, 그리고 기존 LLM들의 성능 분석이 보충될 필요가 있다.