Zoological light under a bushel: using the case of natural history museum researchers to show how conventional bibliometric assessments of researcher productivity overlook important zoological research

Essence

Fig. 2. The number of published documents including at least one author with an ANHM address

본 연구는 Scopus 데이터베이스의 표준 검색이 호주 자연사박물관(ANHMs) 연구자들의 동물학 연구를 불완전하게 포착하고 있음을 보여주며, 이러한 bibliometric 편향이 연구 평가와 자금 배분에 미치는 영향을 분석한다.

Motivation

Known: Bibliometric 분석이 연구자 생산성 평가에 널리 사용되고 있으며, Journal Impact Factor와 citation 분석 같은 지표들이 경력, 자금, 부서의 미래에 영향을 미치고 있다.
Gap: Scopus 같은 주요 데이터베이스가 동물학 연구, 특히 박물관 연구의 전체 corpus를 포착하는지, 그리고 이러한 누락이 개별 연구자의 h-index와 평가에 얼마나 영향을 미치는지 실증적으로 검증되지 않았다.
Why: Bibliometric 평가가 채용, 승진, 자금 배분 등 중요한 의사결정을 좌우하므로, 이러한 지표들의 정확성과 완전성을 검토하는 것이 zoologist들과 박물관 연구의 미래에 필수적이다.
Approach: 8개 호주 자연사박물관의 연구 문서들에 대해 표준 Scopus 검색을 수행하고, Scopus secondary documents(Scopus 문서에 인용되었으나 Scopus에 미등재된 문서들)와 OpenAlex 검색으로 보완하여 누락 규모를 정량화한다.

Achievement

Fig. 1. The percentage of documents from each of eight categories listed as publications by eight ANHMs in

Scopus 미등재 비율의 증거: 6개 박물관이 연간 보고서 문서의 50% 미만만 Scopus에서 검색되었으며, ANHM 저널 11개 중 8개가 Scopus에 미등재됨
Secondary documents의 중요성: 5명의 장기 근무 연구자(최대 40년 경력)가 secondary documents에서 Scopus보다 더 많은 기록을 보유했으며, 모든 저자의 h-index가 secondary documents와 결합 시 향상됨
OpenAlex의 추가 발견: OpenAlex 검색이 Scopus 대비 약 17% 더 많은 ANHM 연구 기록을 검색함
Bibliometric 평가의 신중성 필요: 박물관뿐 아니라 모든 zoologist 평가에서 conventional bibliometric 지표 해석에 주의가 필요함을 시사

How

8개 ANHMs의 1981-2020년 간 발행 문서 분석 (Green et al. 2023, 2025 선행 연구 기반)
Scopus 표준 검색과 secondary documents 검색으로 누락된 문서 식별
선정된 ANHM 연구자의 h-index 비교 (Scopus only vs. Scopus + secondary documents)
OpenAlex 검색을 통한 alternative data source 검증
SCImago Institutions Rankings(SIR)와 비교하여 국제적 벤치마킹 검토
연간 보고서 문서 목록과 Scopus 검색 결과 간 일치도 검증

Originality

Natural history museum 연구자의 bibliometric 누락을 체계적으로 정량화한 첫 연구
Scopus secondary documents를 활용하여 종래에 보이지 않던 문서 체계적 발굴
OpenAlex 같은 새로운 open-source 데이터베이스를 기존 상용 데이터베이스와 비교 분석
Taxonomic literature와 박물관 간행지(grey literature)의 citation bias를 실증적으로 입증

Limitation & Further Study

연구 대상이 호주의 8개 박물관으로 지역 제한적이며, 다른 지역의 자연사박물관에 일반화 가능성 검토 필요
OpenAlex는 상대적으로 새로운 플랫폼으로 장기적 데이터 신뢰성 및 지속성이 검증되지 않음
Secondary documents 검색도 Scopus의 인용 커버리지에 의존하므로 근본적인 제한이 남음
개별 researcher profile에 대한 상세 분석은 소수 사례(n=8)로 제한되어 통계적 일반화 어려움
후속 연구로는 다른 zoological discipline(곤충학, 조류학 등)과 국제 박물관으로 확대, Google Scholar와의 비교 심화, taxonomy 논문의 citation pattern 분석 등이 필요

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 Scopus 중심의 conventional bibliometric 평가가 자연사 박물관과 분류학 연구를 체계적으로 과소평가하고 있음을 설득력 있게 입증함으로써, 전 세계 연구 평가 관행에 대한 중요한 비판적 관점을 제공한다. 특히 secondary documents와 OpenAlex 분석이 데이터 투명성을 높이고, 연구자 개개인의 경력 평가에 직접적인 부정적 영향을 미치는 것을 구체적으로 보여줌으로써 높은 실무적 가치를 갖는다.