Enabling transparent research evaluation: A method for historical RCR retrieval using public NIH metadata

Motivation

• Known: NIH의 RCR은 동일 연구 분야 내 출판물의 상대적 영향력을 나타내는 혁신적 지표이나, 역사적 데이터가 NIH 데이터베이스 내에 저장되어 있으면서도 직접 접근이 어렵다.
• Gap: RCR의 시간 경과에 따른 추이 데이터에 접근할 수 없어 연구자들이 출판물의 장기적 영향력 변화를 추적하기 어렵다.
• Why: DORA 선언과 개방 과학 이니셔티브의 취지에 부합하여 학술 평가의 투명성과 책임성을 높일 수 있다.
• Approach: Python 기반 자동화 도구를 개발하여 NIH 데이터베이스에서 RCR 데이터를 추출하고 데이터베이스 도입 이후 모든 시점의 RCR 값을 시각화한다.

Achievement

• 역사적 서지계량 데이터 복원: 접근 불가능했던 RCR 역사 데이터의 자동 추출 및 재구성 가능성 입증
• 투명한 연구 평가 지원: DORA의 목표와 부합하는 공개 데이터 기반 학술 평가 메커니즘 제공
• 개방 과학 기여: figshare에 원본 데이터를 공개 배포하여 재현성과 접근성 보장

How

• NIH 공개 데이터베이스 API를 활용한 RCR 메타데이터 자동 수집
• Python 스크립트를 통한 시계열 데이터 추출 및 정제
• 각 시점별 RCR 값의 시각화 및 추이 분석
• 추출된 데이터의 figshare 플랫폼 공개 배포

Originality

• NIH의 비공개 역사 데이터에 접근하는 새로운 자동화 방법론 개발
• 공개 메타데이터만 활용하여 시간 경과에 따른 RCR 추이 복원하는 창의적 접근
• 연구 평가의 투명성을 위한 실무적 도구 제시

Limitation & Further Study

• 현재는 RCR 데이터만 대상으로 하며, 다른 서지계량 지표(예: h-index, impact factor 등)로의 확장 필요
• NIH 데이터베이스 구조 변경 시 메서드 재조정 필요 가능성
• 데이터 접근 권한 및 API 변경에 따른 장기적 지속성 보장 필요
• 다양한 학문 분야 및 국제 데이터베이스(Scopus, Web of Science 등)로의 방법론 확대 모색

Evaluation

총평: 공개 데이터를 창의적으로 활용하여 그동안 접근 불가능했던 RCR 역사 데이터를 복원함으로써 투명한 연구 평가와 개방 과학을 실질적으로 지원하는 의미 있는 방법론을 제시한다.