Scilit with the Integrated Impact Indicator Assessment

Motivation

Known: Web of Science의 JIF와 Scopus의 CiteScore가 저널 평가의 주요 지표로 널리 사용되고 있으며, 이들은 평균 기반의 인용 지표로서 학문 분야별 인용 밀도 차이, 왜곡된 인용 분포, 그리고 전략적 행동으로 인한 문제점들이 지적되어 왔다.
Gap: 기존 주요 데이터베이스(WoS, Scopus)는 선택적 색인 정책으로 인한 편향, 제한된 메타데이터 품질, 유료 접근 제한 등의 문제를 가지고 있으며, 더욱 포괄적이고 과학적으로 근거 있는 인용 지표가 필요하다.
Why: 저널 평가 지표는 연구자의 투고 선택, 출판사의 시장 전략, 도서관의 저널 선택, 그리고 대학의 채용·승진 평가에 광범위하게 영향을 미치므로, 더욱 공정하고 신뢰성 높은 평가 방법이 중요하다.
Approach: Scilit 데이터베이스의 multi-source 수집 체계(Crossref, DataCite, PubMed, DOAJ 등)를 활용하여 17,816개의 매칭된 저널 데이터셋을 구성하고, 2023-2024년에 대해 I3/N, JIF, CiteScore를 학문 분야 및 출판사 관점에서 비교 분석한다.

포괄적 데이터베이스 구축: DOI 등록 기관, PubMed, 출판사 API, 오픈액세스 디렉토리, 프리프린트 서버 등 다중 소스로부터 181백만 이상의 항목을 집계하여 WoS·Scopus보다 광범위한 커버리지 제공
향상된 메타데이터 품질: 고급 저자 동일인물 식별 기술 적용 및 14개 세분화된 출판물 유형 분류로 Google Scholar나 OpenAlex 대비 더욱 정확한 참고문헌 매칭 달성
I3와 I3/N 지표의 우월성 입증: 기존 평균 기반 지표 대비 방법론적 견고성, 학제 간 공정성, 진단 가능성에서 현저히 우수함을 통계 분석으로 입증
개방 접근 플랫폼: MDPI에 의한 지속적 재정 지원으로 완전 무료 접근 보장하여 학계 접근성 극대화

Figure 5. ER diagram of the Source Entity

Scilit의 데이터 수집 파이프라인: Crossref, DataCite 등 DOI 등록 기관에서 메타데이터 수확, PubMed/Medline 통합, 출판사 피드 및 API 직접 수신, DOAJ 및 프리프린트 서버 색인
저자 동일인물 식별: 고급 저자 disambiguiation 기법 적용으로 중복 및 모호한 저자 정보 해결 (Fig 3 참조)
출판물 분류: Research Article, Review Article, Conference Paper, Clinical Trial, Case Report 등 14개 세분화된 유형으로 분류
비교 분석 방법: 17,816개 저널의 매칭 데이터셋 기반으로 기술 통계량, 분포 특성을 학문 분야 및 출판사 관점에서 다층적 분석
참고문헌 완성도 평가: OpenAlex 대비 Scilit의 논문당 인용 수 및 인용 논문 수를 비교하여 참고문헌 매칭 완성도 우월성 입증

OpenAlex 대비 총 작업 수(works) 면에서 72.2백만 대 100.1백만으로 여전히 뒤처져 있으며, 저자 및 기관 정보가 있는 작업의 비중(43.6% vs 90.1%)도 낮음
I3/N의 신뢰성 검증을 위해 더 장기간의 데이터(2023-2024년만 분석)와 다양한 학문 분야에서의 추가 파일럿 및 검증 필요
저자 disambiguation의 완전성 수준이 명확히 제시되지 않았으며, 프리프린트와 정식 출판물 간의 중복 제거 메커니즘이 상세히 설명되지 않음
후속 연구: (1) I3/N의 예측 타당성 검증, (2) 더 다양한 학문 분야의 사례 분석, (3) 기관 및 개인 수준 지표로의 확장 가능성 탐색