Faculty shuffle: simulating institutional gaming in research evaluation

Essence

Fig. 1 Increase of the number of products selected, resulting from changes in department affiliations, for the

이탈리아 대학의 VQR 2020-2024 연구평가에서 혼합정수선형계획법을 이용하여 교수 재배치를 통한 제도적 게이밍 행동을 시뮬레이션하고, 낮은 연구 점수의 대학이 더 강한 내부 구조조정 유인을 가지며 협력 연구의 질이 평가 점수 개선을 주도함을 보인다.

Known: UK의 RAE/REF에서 대학들이 평가 시기에 전략적 채용 관행(fractional contracts, 임시직 고용)을 취한다는 것이 알려져 있으나, 이탈리아의 VQR에서 제도적 게이밍에 대한 정량적 증거는 거의 없다.
Gap: 기존 연구는 UK 평가 연습에 집중되어 있으며, 다른 국가의 PBRFS 맥락에서 제도적 게이밍 행동의 범위와 메커니즘에 대한 실증 분석이 부족하다. 특히 내부 부서 재배치를 통한 게이밍 가능성을 정량적으로 모델링한 연구가 없다.
Why: 평가 시스템이 부분 자금(약 30%)의 배분을 결정하므로 대학의 전략적 행동은 자금 배분의 공정성과 평가 제도의 신뢰성을 훼손할 수 있으며, 정책 입안자가 게이밍을 완화하기 위한 구체적 개선안을 개발하는 데 필수적이다.
Approach: mixed-integer linear programming을 사용하여 부서 간 교수 재배치 시나리오를 시뮬레이션하고, VQR의 평가 기준(각 교수당 평균 2.5개 연구 산출물)을 반영하여 대학 점수 변화를 분석한다.

Fig. 2 Increase of total score, resulting from changes in department affiliations, for the seven universities in

낮은 기초 연구 점수와 게이밍 유인의 관계 규명: 초기 연구 점수가 낮은 대학이 내부 재조직을 통해 점수를 개선할 더 강한 유인을 가짐을 정량적으로 입증
협력 연구 질의 영향 분석: 부서 내 협력이 중복 산출물을 통한 게이밍 기회를 제공하지만, 협력 연구의 질이 평가 점수 개선을 실질적으로 주도함을 규명
정책 함의 도출: 평가 기준 정교화와 투명성 강화의 필요성을 근거 기반으로 제시

이탈리아의 VQR만을 대상으로 하여 다른 PBRFS 체계(독일, 네덜란드 등)의 게이밍 패턴 적용 가능성이 제한적
교수 이동의 실제 비용(개인적 이동 비용, 행정 부담) 및 심리적 요인이 모형에 미반영되어 시뮬레이션이 이론적 최대값을 제시할 수 있음
협력 연구의 질 측정이 bibliometric indicator에만 의존하여 실질적 연구 질의 다면성을 포착하지 못할 가능성
후속 연구: (1) 다중 국가 PBRFS 비교 분석, (2) 실제 교수 이동 데이터와 예측값의 검증, (3) 평가 기준 변화에 따른 게이밍 행동의 탄력성 분석