Faculty shuffle: simulating institutional gaming in research evaluation

Motivation

• Known: UK의 RAE/REF에서 대학들이 평가 시기에 전략적 채용 관행(fractional contracts, 임시직 고용)을 취한다는 것이 알려져 있으나, 이탈리아의 VQR에서 제도적 게이밍에 대한 정량적 증거는 거의 없다.
• Gap: 기존 연구는 UK 평가 연습에 집중되어 있으며, 다른 국가의 PBRFS 맥락에서 제도적 게이밍 행동의 범위와 메커니즘에 대한 실증 분석이 부족하다. 특히 내부 부서 재배치를 통한 게이밍 가능성을 정량적으로 모델링한 연구가 없다.
• Why: 평가 시스템이 부분 자금(약 30%)의 배분을 결정하므로 대학의 전략적 행동은 자금 배분의 공정성과 평가 제도의 신뢰성을 훼손할 수 있으며, 정책 입안자가 게이밍을 완화하기 위한 구체적 개선안을 개발하는 데 필수적이다.
• Approach: mixed-integer linear programming을 사용하여 부서 간 교수 재배치 시나리오를 시뮬레이션하고, VQR의 평가 기준(각 교수당 평균 2.5개 연구 산출물)을 반영하여 대학 점수 변화를 분석한다.

Achievement

Fig. 2   Increase of total score, resulting from changes in department affiliations, for the seven universities in

• 낮은 기초 연구 점수와 게이밍 유인의 관계 규명: 초기 연구 점수가 낮은 대학이 내부 재조직을 통해 점수를 개선할 더 강한 유인을 가짐을 정량적으로 입증
• 협력 연구 질의 영향 분석: 부서 내 협력이 중복 산출물을 통한 게이밍 기회를 제공하지만, 협력 연구의 질이 평가 점수 개선을 실질적으로 주도함을 규명
• 정책 함의 도출: 평가 기준 정교화와 투명성 강화의 필요성을 근거 기반으로 제시

How

• mixed-integer linear programming 모형을 구축하여 부서 간 교수 재배치의 최적화 문제로 설정
• VQR 2020-2024의 평가 규칙(각 교수당 1-4개, 평균 2.5개의 연구 산출물 제출) 반영
• 이탈리아 대학의 실제 데이터를 기반으로 재배치 시나리오 시뮬레이션 수행
• 기저 연구 점수별, 부서 특성별, 협력 관계별로 게이밍 가능성의 차등 분석
• 서로 다른 기저 점수를 가진 대학 집단에 대해 비교 분석

Originality

• 제도적 게이밍을 정량적으로 모델링한 첫 번째 시도 (UK RAE/REF는 관찰적 분석에만 의존)
• mixed-integer linear programming을 연구 평가 게이밍 분석에 적용한 혁신적 방법론
• 개별 게이밍(부정 출판·인용 행위)이 아닌 제도적 게이밍에 집중하는 차별화된 관점
• 평가 시스템의 설계 요소(산출물 범위, 부서 정의 등)가 게이밍 유인을 어떻게 만드는지 규명

Limitation & Further Study

• 이탈리아의 VQR만을 대상으로 하여 다른 PBRFS 체계(독일, 네덜란드 등)의 게이밍 패턴 적용 가능성이 제한적
• 교수 이동의 실제 비용(개인적 이동 비용, 행정 부담) 및 심리적 요인이 모형에 미반영되어 시뮬레이션이 이론적 최대값을 제시할 수 있음
• 협력 연구의 질 측정이 bibliometric indicator에만 의존하여 실질적 연구 질의 다면성을 포착하지 못할 가능성
• 후속 연구: (1) 다중 국가 PBRFS 비교 분석, (2) 실제 교수 이동 데이터와 예측값의 검증, (3) 평가 기준 변화에 따른 게이밍 행동의 탄력성 분석

Evaluation

총평: 본 연구는 PBRFS 맥락에서 제도적 게이밍을 처음 정량적으로 모델링하여 평가 시스템의 설계 결함을 구체적으로 드러내고, 정책 입안자에게 평가 기준 개선과 투명성 강화의 근거를 제공하는 중요한 기여를 한다.