The Paradox of Research Productivity Metrics: Unintended Consequences on Academic Careers and Knowledge Production in Global Higher Education

Motivation

• Known: Publish-or-perish 문화와 연구 지표 중심의 평가 체계가 학계에 광범위하게 도입되어 있으며, 이러한 체계가 연구자들의 행동과 기관의 구조를 변형하고 있다는 것은 알려져 있다.
• Gap: 기존 연구는 publish-or-perish 문화의 부작용을 질적으로 논의해 왔으나, 지표 압력이 구체적으로 학술 경력, 지식 생산, 연구 혁신성에 미치는 정량적 영향과 성별 간 차이, 그리고 제도적 완화 정책의 효과를 체계적으로 검증한 대규모 실증 연구가 부족하다.
• Why: 연구 평가 체계가 학술 경력과 지식 생산의 질에 실제로 어떤 영향을 미치는지 실증적으로 파악하는 것은 고등교육 정책과 기관의 평가 체계 개선에 필수적이며, 이를 통해 학자들의 복지와 연구의 질을 동시에 보호할 수 있는 방안을 모색할 수 있다.
• Approach: 전 세계 고등교육 연구자 1065명을 대상으로 설문 조사를 실시하고, variance-weighted least-squares regression, multivariate analysis of variance and covariance, robust OLS를 활용하여 지표 압력이 학술 경력, 지식 생산, 연구 품질, 혁신성에 미치는 영향을 institutional theory 관점에서 분석했다.

Achievement

• 학술 경력에 대한 부정적 영향: 지표 강조, 고영향력 저널 게재 압력, 번아웃이 경력 진전, 일과 삶의 균형, 스트레스에 악영향을 미침을 입증
• 연구 품질과 혁신의 저해: 지표 압력이 연구의 엄밀성을 낮추고, 높은 인용 잠재력을 가진 주제 선호를 조장하며, 혁신적 연구 방법 채택을 제약함을 확인
• 지식 생산량의 역설적 증가: 동일한 압력이 인용 지향적 주제 우선화와 공개적 연구 공유를 통해 출판량을 증가시키는 현상 발견
• 성별 간 효과의 동등성: 지표 압력의 부정적 영향이 성별에 따라 유의미한 차이가 없음을 확인
• 제도적 정책의 완화 효과: 스트레스 감소, 일과 삶의 균형 지원, 지표 압력 완화를 목표로 하는 기관 정책이 부정적 효과를 유의미하게 감소시킬 수 있음을 입증

How

• 전 세계 고등교육 기관의 학술 직원과 학생 연구자 1065명을 대상으로 설문 조사 실시
• Variance-weighted least-squares regression으로 주요 관계식 검증
• Multivariate analysis of variance and covariance (MANOVA)로 다변량 효과 분석
• Robust OLS로 강건성 검증(robustness checks) 수행
• Institutional theory를 이론적 프레임워크로 활용하여 제도적 동형화(institutional isomorphism) 메커니즘 설명
• 지표 압력(institutional emphasis on metrics, publication pressure, metric-induced stress)을 독립 변수로, 학술 경력 성과·지식 생산·연구 품질·혁신성을 종속 변수로 조작화

Originality

• 기존 질적 논의 중심의 publish-or-perish 문화 비판을 대규모 정량적 실증 연구로 처음 체계화
• 지표 압력의 역설적 효과(research quality 저하와 knowledge production volume 증가의 동시 발생)를 경험적으로 입증한 첫 연구
• Institutional theory를 활용하여 research metrics를 제도적 동형화 메커니즘으로 재개념화
• 성별, 지역, 학문 분야 간 차이를 포함한 다층적 불평등 분석 프레임 제시
• 제도적 완화 정책의 효과를 실증적으로 검증하여 정책 개선에 기여

Limitation & Further Study

• 설문 기반 자기 보고(self-reported) 데이터의 사회적 바람직성 편향(social desirability bias) 가능성
• 표본이 자발적 응답자 중심이어서 지표 압력에 더 민감한 연구자들의 과표집 우려
• 횡단면(cross-sectional) 설계로 인한 인과 관계 추론의 제한성
• 기관 유형, 학문 분야, 국가별 컨텍스트 차이가 충분히 반영되지 않음
• 정성적 메커니즘(how와 why)에 대한 심화 분석 필요
• 후속 연구: 종단면 연구를 통한 인과 관계 확립, 다양한 학문 분야 및 국가 간 맥락적 차이 분석, 제도적 정책의 실제 시행 현황과 효과에 대한 질적 연구 병행

Evaluation

총평: 본 연구는 연구 지표 중심 평가 체계의 의도하지 않은 부정적 결과를 대규모 실증 조사로 처음 체계적으로 입증하였으며, institutional theory를 활용한 이론적 깊이와 정책적 해결책 제시로 고등교육 개혁에 중요한 기여를 한다.