A review of the literature on citation impact indicators

Motivation

• Known: Journal impact factor(Garfield, 1972)와 h-index(Hirsch, 2005) 등 citation impact indicator는 연구 평가에서 널리 사용되어 왔으며, Web of Science, Scopus, Google Scholar 같은 bibliographic database를 기반으로 다양한 지표들이 개발되어 왔다.
• Gap: citation impact indicator에 관한 연구가 방대하게 축적되었음에도 불구하고, database 비교, normalization 방법론, counting method, journal 지표 등 주요 하위 주제들을 통합적으로 정리하고 비판적으로 평가한 종합적 문헌 리뷰가 부족했다.
• Why: 연구 평가(research evaluation)에서 citation impact indicator의 영향력이 커지는 상황에서, 지표 선택과 해석에 관한 방법론적 이해를 체계화하는 것은 연구자, 정책 결정자, 평가 기관 모두에게 실질적으로 중요하다.
• Approach: 저자는 bibliometric·scientometric 분야의 기존 문헌을 주제별(bibliographic database, 논문·인용 선택, normalization, counting method, journal indicator)로 분류하여 심층적으로 검토하는 전통적 narrative literature review 방식을 택했다.

Achievement

1. Bibliographic database 비교 정리: Web of Science, Scopus, Google Scholar의 커버리지 차이와 사회과학·인문학, conference proceedings에서의 한계를 체계적으로 정리했다.
2. Publication 및 citation 선택 이슈 종합: document type, language, national vs. international journal, self-citation, citation window 등 지표 계산 시 고려해야 할 세부 이슈들을 정리했다.
3. Normalization 방법론 비교: average citation count 기반, highly cited publication 기반 정규화 지표와 field classification system 선택 문제, 대안적 normalization 접근을 비교 분석했다.
4. Counting method 및 journal indicator 정리: fractional counting을 비롯한 co-authorship counting method와 journal impact factor를 포함한 다양한 journal 수준 지표(recursive indicator 등)를 정리했다.
5. 향후 연구 방향 제시: 각 주제 영역에서 미해결 문제와 필요한 후속 연구 방향을 구체적으로 제안했다.

How

• 기존 bibliometric·scientometric 문헌을 체계적으로 수집하고 주제별로 분류(database, selection, normalization, counting method, journal indicator)
• 각 주제에 대해 대표적 연구들의 방법론적 강점과 한계를 비교·대조하는 narrative review 방식 적용
• 실증 연구 결과와 이론적 논쟁을 함께 제시하여 방법론적 합의점과 미해결 쟁점을 구분
• 마지막 장에서 리뷰 내용을 종합해 향후 연구를 위한 구체적 권고안 도출

Originality

• 단일 지표나 특정 방법론에 국한하지 않고 citation impact indicator 연구 전반을 아우르는 포괄적 리뷰라는 점에서 독창적이다.
• Web of Science, Scopus, Google Scholar 같은 database 비교부터 journal 수준 지표까지 연구 파이프라인 전체를 다룸으로써 기존의 부분적 리뷰들과 차별화된다.
• 실무적 함의(연구 평가에서의 지표 선택)와 이론적 쟁점(normalization, counting method)을 균형 있게 통합했다.

Limitation & Further Study

• Review 논문의 특성상 저자의 주관적 선택과 해석에 따라 다루는 문헌의 범위와 강조점이 달라질 수 있어 완전한 객관성을 담보하기 어렵다.
• 특정 시점(2016년)까지의 문헌을 기반으로 하므로, 이후 등장한 새로운 database(예: 최신 Google Scholar 개선, 신규 데이터베이스)나 지표는 반영되지 않았다.
• 정량적 메타분석이 아닌 narrative review 방식이므로, 각 방법론 간 상대적 성능을 체계적·통계적으로 비교하지는 못한다.
• 후속 연구로는 본 리뷰에서 제시된 권고안을 바탕으로 한 실증적 검증 연구, 특히 normalization 방법과 field classification system의 정량적 비교 연구가 필요하다.

Evaluation

총평: Citation impact indicator 연구 분야의 핵심 쟁점들을 폭넓고 체계적으로 정리한 유용한 리뷰 논문으로, 연구 평가 실무자와 계량서지학 연구자 모두에게 참고 가치가 높으나 새로운 실증적 발견을 제시하는 논문은 아니다.