Operationalising responsible use of bibliometrics in research evaluation insights obtained from policy application of scientometrics at three European universities

Motivation

• Known: Scientometrics는 정보과학에서 출발한 학문분야로, 과거 문헌 경보 서비스와 과학 구조 매핑에서 출발했으나, 지난 20년간 평가 맥락으로 활용 범위가 확대되었다. DORA와 CoARA 같은 국제 개혁 이니셔티브가 정량 지표의 책임감 있는 사용을 강조해왔다.
• Gap: 기존 연구들이 주로 책임감 있는 metrics 사용의 원칙과 프레임워크를 논의했다면, 실제 기관 맥락에서 이런 원칙들이 구체적으로 어떻게 구현되는지에 대한 경험적 사례 연구는 부족했다.
• Why: Bibliometric 지표가 과학정책에 미치는 영향이 증대되면서, 원래 정보 서비스용으로 설계된 도구들을 평가 맥락에서 신중하게 사용할 필요성이 높아졌다. 따라서 실제 기관들이 이를 어떻게 책임감 있게 운영하는지 보여주는 것이 중요하다.
• Approach: 세 유럽 대학의 연구 평가 실행 사례를 비교 분석하는 다중사례 연구 방법을 사용한다. ECOOM, Sapienza-Sapientia, University of Vienna의 사례를 통해 governance 구조, qualitative 평가와의 통합, 지표의 contextualisation, 의사결정 내 embedding을 분석한다.

Achievement

Fig. 1   Presentation of relative citations indicators in relational charts (left: 2011–2015; Right: 2018–2022).

• ECOOM의 BOF key 메커니즘: WoS와 VABB를 결합한 성능 기반 자금 배분 모델로, 출판물, 인용, journal metrics, CSS 등 다층 파라미터를 사용하여 5개 플랑드르 대학 간 공정한 배분 실현
• Sapienza의 onto-기반 인프라: Multidimensional 연구 평가를 지원하는 ontology-based 시스템으로 다양한 응용 가능성 제시
• University of Vienna의 미시 수준 적용: 채용 의사결정에 scientometric 지표를 stakeholder 검증과 narrative 평가와 통합

How

Fig. 2   Distribution over CSS-classes 11 reference R&D institutes in the context of the European CHIPS

• Daraio et al. (2025)의 책임감 있는 bibliometrics 프레임워크를 분석 가이드로 활용
• Proportionality, transparency, contextualisation, qualitative 판단과의 통합 등 핵심 원칙에 따라 사례 분석
• 세 기관의 실제 운영 사례를 비교하며 governance 구조, 지표의 contextualisation 방식, stakeholder 참여 메커니즘 검토
• 각 수준(meso와 micro)의 평가 맥락에 맞춘 지표 적용 방식 분석

Originality

• 기존 규범적 원칙 중심의 논의에서 벗어나 실제 기관 맥락에서의 구체적 구현 사례를 제시한 점이 창신적
• 세 국가의 서로 다른 기관 맥락(meso 수준 자금배분, 인프라 기반 평가, micro 수준 채용)을 비교함으로써 다층적 분석 제공
• Ontology-based 접근(Sapienza)과 stakeholder 기반 validation(Vienna) 등 다양한 운영 방식의 사례화

Limitation & Further Study

• 논문이 발췌본이므로 전체 methodology와 results의 깊이 평가 제약
• 세 사례 외 다른 기관들의 사례 부재로 일반화 가능성 제한
• 각 사례의 장기적 효과(예: 자금배분의 형평성, 평가 만족도)에 대한 정량적 검증 자료 부재 가능성
• 서로 다른 기관 맥락에서의 원칙 적용 차이가 나타나는 이유에 대한 더 깊은 분석 필요

Evaluation

총평: 이 논문은 scientometrics 커뮤니티가 오래 논의해온 책임감 있는 metrics 사용의 원칙을 실제 기관 맥락에서 어떻게 구현하는지를 구체적으로 보여주는 중요한 사례 연구이다. 각 기관의 상이한 설계와 운영 방식을 비교함으로써 평가 프레임워크의 contextual adaptation에 대한 실질적 인사이트를 제공하며, DORA/CoARA 개혁과 맞물린 현실적 대응 방식을 시연한다.