Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations

Motivation

• Known: Web of Science, Scopus, Google Scholar 등 기존 인용 데이터베이스의 커버리지 차이가 알려져 있으나, 새로운 소스들(Microsoft Academic, Dimensions, COCI)의 다학제적 비교 분석이 부족하다.
• Gap: Microsoft Academic, Dimensions, COCI 등 새로운 인용 데이터 소스들과 기존 주요 소스들의 학문 분야별 커버리지 차이에 대한 체계적이고 포괄적인 증거가 없다.
• Why: 연구자와 도서관이 문헌 검색과 인용 분석에 적절한 데이터 소스를 선택하기 위해서는 각 소스의 강점과 약점을 학문 분야별로 이해해야 한다.
• Approach: 2006년 발행된 2,515개의 고피인용 영어 문헌에 대해 6개 인용 데이터 소스가 검색한 3,073,351개의 인용을 수집하여 전체 및 학문 분야별 커버리지를 비교 분석하였다.

Achievement

Fig. 1   Percentage of citations found by each database, relative to all citations (first row), and relative to

• Google Scholar의 최고 커버리지: 전체 인용의 88%를 검색하였으며, 다른 5개 소스가 찾은 인용의 89-94%를 포함
• Microsoft Academic의 우수한 성능: 전체 인용의 60%를 검색하여 2위 규모이며, Scopus 인용의 82%, WoS 인용의 86%를 포함. 182개(Scopus 대비) 및 223개(WoS 대비) 학문 분야에서 더 많은 인용 발견
• Dimensions의 경쟁력: 전체 인용의 54%를 검색하여 4위이며, Scopus 인용의 84%, WoS 인용의 88%를 포함. 185개 학문 분야에서 WoS보다 높은 커버리지
• COCI의 제한적 커버리지: 전체 인용의 28%만 검색하여 가장 작은 규모이며, 주요 출판사의 참고문헌 미공개로 인한 한계 확인
• 학문 분야별 차이: Microsoft Academic과 Dimensions은 일부 학문 분야(물리학, 인문학)에서 커버리지 격차가 있으나 많은 분야에서 Scopus와 WoS의 우수한 대안

How

Fig. 2   Overlaps of citations found by Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of

• 2006년 발행된 252개 학문 분야의 2,515개 고피인용 영어 문헌 선정
• 각 문헌에 대해 Google Scholar, Microsoft Academic, Scopus, Dimensions, WoS, COCI에서 검색된 인용 데이터 수집
• 전체 인용 수, 소스 간 인용 겹침(overlap), 학문 분야별 상대적 커버리지 계산 및 비교
• Venn 다이어그램을 활용한 6개 소스 간 인용 겹침의 시각화 및 분석
• 학문 분야별 커버리지 패턴 분석으로 각 소스의 강점과 약점 파악

Originality

• 기존 최대 규모 연구를 확장하여 6개 주요 인용 데이터 소스를 포괄적으로 비교한 최초의 체계적 연구
• 252개 학문 분야에 걸친 다학제적 분석으로 단순 전체 비교를 넘어 분야별 차이를 규명
• 새로운 소스들(Microsoft Academic, Dimensions, COCI)을 기존 주요 소스들과 동일한 기준으로 평가
• 3,073,351개의 인용 데이터를 활용한 대규모 실증적 비교 분석으로 높은 신뢰성 확보

Limitation & Further Study

• 2006년 발행 문헌만 분석하여 최근 출판 동향과 인용 패턴 변화 반영 불가
• 영어 문헌만 포함하여 다국어 학술 콘텐츠의 커버리지 차이 미반영
• 인용 데이터 품질(중복, 오류), 메타데이터 정확성 등 다른 중요 평가 지표 미포함
• 데이터 접근성, 검색 기능, 비용 등 실제 사용자 의사결정 요소 미분석
• 후속 연구로 시계열 분석(연도별 커버리지 변화), 신규 문헌에 대한 시의성 평가, 인용 메타데이터 정확성 비교 필요

Evaluation

총평: 이 연구는 새로운 인용 데이터 소스들의 등장으로 인한 학술정보 생태계 변화를 최초로 포괄적이고 체계적으로 분석하여, 연구자와 도서관의 데이터 소스 선택을 위한 실증적 근거를 제공한다. 학문 분야별 상세 분석을 통해 Google Scholar의 압도적 우위와 함께 Microsoft Academic과 Dimensions가 전통적 유료 데이터베이스의 대안이 될 가능성을 명확히 하였다.