The Paradox of Research Productivity Metrics: Unintended Consequences on Academic Careers and Knowledge Production in Global Higher Education

Motivation

Known: Publish-or-perish 문화와 연구 지표 중심의 평가 체계가 학계에 광범위하게 도입되어 있으며, 이러한 체계가 연구자들의 행동과 기관의 구조를 변형하고 있다는 것은 알려져 있다.
Gap: 기존 연구는 publish-or-perish 문화의 부작용을 질적으로 논의해 왔으나, 지표 압력이 구체적으로 학술 경력, 지식 생산, 연구 혁신성에 미치는 정량적 영향과 성별 간 차이, 그리고 제도적 완화 정책의 효과를 체계적으로 검증한 대규모 실증 연구가 부족하다.
Why: 연구 평가 체계가 학술 경력과 지식 생산의 질에 실제로 어떤 영향을 미치는지 실증적으로 파악하는 것은 고등교육 정책과 기관의 평가 체계 개선에 필수적이며, 이를 통해 학자들의 복지와 연구의 질을 동시에 보호할 수 있는 방안을 모색할 수 있다.
Approach: 전 세계 고등교육 연구자 1065명을 대상으로 설문 조사를 실시하고, variance-weighted least-squares regression, multivariate analysis of variance and covariance, robust OLS를 활용하여 지표 압력이 학술 경력, 지식 생산, 연구 품질, 혁신성에 미치는 영향을 institutional theory 관점에서 분석했다.

학술 경력에 대한 부정적 영향: 지표 강조, 고영향력 저널 게재 압력, 번아웃이 경력 진전, 일과 삶의 균형, 스트레스에 악영향을 미침을 입증
연구 품질과 혁신의 저해: 지표 압력이 연구의 엄밀성을 낮추고, 높은 인용 잠재력을 가진 주제 선호를 조장하며, 혁신적 연구 방법 채택을 제약함을 확인
지식 생산량의 역설적 증가: 동일한 압력이 인용 지향적 주제 우선화와 공개적 연구 공유를 통해 출판량을 증가시키는 현상 발견
성별 간 효과의 동등성: 지표 압력의 부정적 영향이 성별에 따라 유의미한 차이가 없음을 확인
제도적 정책의 완화 효과: 스트레스 감소, 일과 삶의 균형 지원, 지표 압력 완화를 목표로 하는 기관 정책이 부정적 효과를 유의미하게 감소시킬 수 있음을 입증

전 세계 고등교육 기관의 학술 직원과 학생 연구자 1065명을 대상으로 설문 조사 실시
Variance-weighted least-squares regression으로 주요 관계식 검증
Multivariate analysis of variance and covariance (MANOVA)로 다변량 효과 분석
Robust OLS로 강건성 검증(robustness checks) 수행
Institutional theory를 이론적 프레임워크로 활용하여 제도적 동형화(institutional isomorphism) 메커니즘 설명
지표 압력(institutional emphasis on metrics, publication pressure, metric-induced stress)을 독립 변수로, 학술 경력 성과·지식 생산·연구 품질·혁신성을 종속 변수로 조작화

기존 질적 논의 중심의 publish-or-perish 문화 비판을 대규모 정량적 실증 연구로 처음 체계화
지표 압력의 역설적 효과(research quality 저하와 knowledge production volume 증가의 동시 발생)를 경험적으로 입증한 첫 연구
Institutional theory를 활용하여 research metrics를 제도적 동형화 메커니즘으로 재개념화
성별, 지역, 학문 분야 간 차이를 포함한 다층적 불평등 분석 프레임 제시
제도적 완화 정책의 효과를 실증적으로 검증하여 정책 개선에 기여

설문 기반 자기 보고(self-reported) 데이터의 사회적 바람직성 편향(social desirability bias) 가능성
표본이 자발적 응답자 중심이어서 지표 압력에 더 민감한 연구자들의 과표집 우려
횡단면(cross-sectional) 설계로 인한 인과 관계 추론의 제한성
기관 유형, 학문 분야, 국가별 컨텍스트 차이가 충분히 반영되지 않음
정성적 메커니즘(how와 why)에 대한 심화 분석 필요
후속 연구: 종단면 연구를 통한 인과 관계 확립, 다양한 학문 분야 및 국가 간 맥락적 차이 분석, 제도적 정책의 실제 시행 현황과 효과에 대한 질적 연구 병행