A global interdisciplinary platform for academic age-normalized researcher evaluation

Motivation

• Known: 기존 H-index, 논문 수, 인용 수 등의 정량 지표는 경력이 긴 연구자에게 유리하고 학문 분야 간 차이를 고려하지 않아 '출판하거나 죽거나(Publish or Perish)' 문화를 강화한다.
• Gap: 나이와 학문 분야를 동시에 정규화하고 경력 단계별로 공정한 비교 기준을 제공하는 글로벌 벤치마크 플랫폼이 부재하다.
• Why: 불공정한 평가 지표는 신진 연구자를 차별하고, 연구비 배분 및 학술 승진 결정에 체계적 편향을 야기하므로 책임감 있는 평가 메커니즘이 필수적이다.
• Approach: Scopus 데이터로부터 각 학문 분야별, 경력 단계별 H-index, 연간 인용 수, 최근 5년 출판 지표의 백분위수 기준값을 산출하고, 합성 점수(D1-D10 decile)로 성과를 정규화하는 온라인 포털(www.scientometrics.org/scopus)을 구축한다.

Achievement

• 글로벌 참조 데이터베이스: 507,233명 연구자의 출판 및 인용 데이터를 수집하여 모든 학문 분야에서 백분위 기준값 계산
• 다층 정규화: 경력 단계(첫 논문 이후 연 단위), 학문 분야, 저자 순서(첫 저자, 마지막 저자 등) 등 다양한 차원의 맥락 정보 통합
• 공정한 비교 프레임워크: 동일 경력 단계 및 학문 분야 내 연구자 간 비교만 수행하여 편향 최소화
• 합성 지표: H-index, 연간 인용 수, 최근 출판 성과를 통합한 D-rank(D1-D10) 개발로 다층적 평가 가능
• 접근성 강화: 웹 포털을 통해 개별 연구자, 기관, 정책 입안자가 기대 수준을 파악하고 책임감 있는 지표 적용 가능

How

Fig. 1   The computation of the overall score uses different pipelines in the major scientific disciplines to

• Scopus 데이터베이스에서 20,000,000명 이상 연구자의 출판 및 인용 정보 추출
• 학문 분야별로 다양한 출판 유형(논문, 리뷰, 컨퍼런스 논문 등)을 학문 특성에 맞게 분류
• 각 년도별(첫 논문 이후 경과 연수)마다 분야별 H-index, 연간 인용 수, 최근 5년 출판 건수의 백분위 계산
• 저자 순서 정보를 활용한 기여도 분석(첫 저자, 마지막 저자, CRediT 역할 정보 고려)
• 경력 단계와 학문 분야가 동일한 연구자 그룹 내에서만 비교 수행
• H-index, 연간 인용, 최근 출판 지표를 종합하여 D1-D10 decile 점수 산출
• 온라인 포털에서 실시간 조회 및 벤치마킹 기능 제공

Originality

• 경력 단계별 정규화를 연 단위로 정밀하게 수행하여 기존 H-index 평활화(smoothing) 접근보다 세밀한 비교 가능
• 학문 분야 내에서만 비교하도록 설계하여 학문 간 차이 완전 제거(기존 연구는 단순 정규화에 불과)
• 저자 순서 및 CRediT 역할 정보 통합으로 다중 저자 환경에서의 기여도 반영
• 507,233명 규모의 글로벌 벤치마크 데이터베이스로 지역 제한 없는 국제 비교 가능성 제시
• Hungarian 국내 시스템 성공 경험을 바탕으로 글로벌 확장한 검증된 설계

Limitation & Further Study

• Scopus 데이터베이스의 학문 분야 분류 정확성에 의존하므로, 학제 간(interdisciplinary) 연구자는 주 분야 기준으로만 평가됨
• 저자 순서 정보만 반영되고 CRediT 시스템은 아직 광범위 채택되지 않아 정확한 기여도 평가에 한계
• 최근 신진 연구자(경력 1-3년)의 경우 샘플 크기 부족으로 백분위 신뢰도 저하 가능성
• 논문 출판의 학문 분야별 시간 편차(일부 분야는 출판 지연 길어짐)를 고려하지 않음
• 후속 연구: 학제 간 연구자를 위한 혼합 필드 정규화, CRediT 정보 수집 확대, 초기 경력 단계 신뢰도 개선, 지역/기관 수준 메타분석 추가

Evaluation

총평: 경력 단계와 학문 분야를 동시에 정규화한 글로벌 벤치마크 시스템으로 연구자 평가의 공정성을 크게 향상시킨 실질적 기여이며, 웹 포털 구축으로 실제 정책 및 승진 평가에 즉시 적용 가능한 강점을 보유하고 있다.