Beyond Google Scholar, Scopus, and Web of Science: An evaluation of the backward and forward citation coverage of 59 databases' citation indices

Motivation

• Known: citation search는 keyword search를 보완하는 중요한 문헌 검색 방법이며, systematic review와 bibliometric analysis에서 필수적이다. 그러나 기존 연구는 Google Scholar, Web of Science, Scopus 등 소수의 주요 인용 색인만 분석했고, 새로운 데이터베이스와 subject-specific 데이터베이스는 종합적으로 평가되지 않았다.
• Gap: 59개의 데이터베이스 중 대다수는 인용 색인 커버리지에 대한 종합적 평가가 부족하며, 특히 Lens, Scite, Dimensions, OpenAlex 같은 신규 데이터베이스와 PubMed, JSTOR 같은 주제별 데이터베이스의 성능 비교가 필요하다.
• Why: 효과적인 citation search를 수행하려면 서로 다른 인용 색인의 커버리지, 정확성, 포괄성을 이해하는 것이 필수적이며, 이는 systematic review, meta-analysis, bibliometric analysis의 질에 직결된다.
• Approach: 학자들이 가장 적합한 인용 색인을 선택할 수 있도록, 259개의 저널 논문을 대상으로 59개 데이터베이스의 backward citation과 forward citation 커버리지를 비교 분석한다.

Achievement

주요 성과:

• Google Scholar, ResearchGate, Semantic Scholar, Lens가 FWC 검색에서 우수한 성과를 보임
• Lens는 다운로드 기능이 우월함
• Web of Science Core Collection이 Scopus보다 BWC 정확성에서 우수함
• IEEE Xplore, ScienceDirect 등 출판사 데이터베이스가 가장 정확한 BWC 정보 제공 (단, 제한된 논문에만 적용 가능)
• 각 데이터베이스의 상대적 강점과 약점에 대한 구체적인 비교 결과 제시

How

• www.searchsmart.org 기반 데이터베이스 선택 (BWC 또는 FWC 지원 여부 확인)
• 다학제 분야의 259개 저널 논문을 대표 샘플로 선정
• 각 논문의 reference list (BWC) 및 인용 링크 (FWC)를 모든 59개 데이터베이스에서 검사
• BWC 정확성, FWC 커버리지, 다운로드 기능 등 다양한 지표로 비교 분석

Originality

• 기존 연구는 3-4개의 주요 인용 색인만 비교했으나, 본 연구는 59개 데이터베이스를 종합 평가
• Lens, Scite, Dimensions, OpenAlex 등 신규 데이터베이스의 정량적 분석은 처음
• 출판사 데이터베이스와 subject-specific 데이터베이스까지 포함한 광범위한 평가

Limitation & Further Study

• 저널 논문만 분석 대상으로 선정하여 theses, pre-print, conference proceedings 등 제외
• 259개의 표본이 모든 학문 분야를 충분히 대표하는지 확인 필요
• 시간 경과에 따른 데이터베이스 성능 변화 미추적
• 각 데이터베이스의 인용 색인 업데이트 주기와 정확성 검증 메커니즘 미상세

Evaluation

총평: 본 논문은 systematic review, bibliometric analysis, literature discovery에 필수적인 citation search의 효율성을 크게 높일 수 있는 실질적이고 포괄적인 가이드라인을 제공하며, 학술 커뮤니티에 즉시 활용 가능한 가치 있는 결과를 제시한다.