Governing Science through Evaluation: A Global Heuristic of Research Evaluation Regimes

Motivation

• Known: 1970년대 이후 여러 유럽 국가들이 정부 자금 지원 연구의 책임성과 효율성을 위해 대규모 RES를 도입했으며, 기존 연구들은 주로 개별 사례 연구나 국민국가 중심의 분류체계로 이를 분석해왔다.
• Gap: 기존 연구는 방법론적 국가주의에 빠져 초국적 동학, 비공식적 관행, 역사·정치적 맥락의 다양성, 그리고 평가자와 피평가자 간의 복잡한 권력 관계를 간과해왔다.
• Why: RES는 과학 거버넌스의 중핵이자 정치·규범적 차원을 내포한 문화적 산물이므로, 이를 종합적으로 이해하려면 transnational 관점과 비공식적·규범적 측면을 포함한 통합 분석틀이 필요하다.
• Approach: Michael Power의 평가론을 기초로 RES를 단순 기술적 절차가 아닌 사회정치적 맥락 속의 거버넌스 모드로 개념화하고, 4가지 분석 차원의 휴리스틱을 개발하여 초국적 역학과 규범적 측면을 포착한다.

Achievement

• 4차원 휴리스틱 개발: 행위자 구성(constellation of actors), 절차(procedures), 기능(functions), 프로그램·가치(programmes and values)를 RES의 핵심 차원으로 제시하여 맥락 민감적 비교 연구를 가능하게 함
• 이론적 재정향: Power의 감시론(audit)과 Dahler-Larsen의 평가사회론을 결합하여 RES를 거버넌스의 정치성과 문화성이 내재된 현상으로 재해석
• 방법론적 확장: 국민국가 중심의 분류체계를 비판하고 transnational dynamics, 비공식적 관행, 불평등 구조를 분석에 포함시킬 수 있는 분석틀 제공
• 비평가적 기여: 기존의 새로운 분류(new typology)를 제시하는 대신 기존 분류들에 대한 이론적 성찰을 통해 간과된 측면들을 명시화

How

• 문헌검토: RES의 기존 분류체계와 그 한계(특히 영국 REF 중심의 과잉대표성)에 대한 비판적 검토
• 이론적 프레임워크 구성: Power(1997)의 감시와 거버넌스론, Dahler-Larsen(2012)의 평가사회론, 그리고 national innovation systems 문헌의 비판적 검토를 통해 분석 틀 도출
• 4차원 휴리스틱 구성: 행위자, 절차, 기능, 가치·프로그램의 차원을 체계적으로 정의하고 각각의 다양한 형태와 조합을 규명
• 맥락화된 비교: 유럽, 라틴아메리카, 구소련권 등 지역적·정치적으로 다른 RES들을 4차원 틀로 비교 가능하도록 설계

Originality

• Power의 audit society 개념을 RES 분석에 본격 적용하여 평가를 기술적 도구가 아닌 거버넌스 모드로 재개념화
• 방법론적 국가주의 비판을 구체적으로 실행하여 transnational dynamics, 비공식 관행, 권력 비대칭성을 분석에 포함
• 기존 분류체계의 한계를 체계적으로 진단하고 이론적 반성(theoretical reflection)을 통해 새로운 분석 각도 제시
• 평가 시스템의 규범적·문화적 측면(excellence 개념, 정치적 프로그램)을 명시적으로 분석 대상으로 격상

Limitation & Further Study

• 경험적 사례분석 부재: 제시된 4차원 휴리스틱이 실제 다양한 RES에 적용되었을 때의 유용성과 한계가 실증적으로 검증되지 않음
• 개념적 명확성 미흡: '절차(procedures)'와 '프로그램(programmes)'의 개념적 구분이 모호할 수 있으며, 각 차원 간의 상호작용과 위계 관계가 명확하지 않음", '규범적 입장의 모호성: Power의 비판적 관점을 부분적으로만 채택하여, 평가 시스템의 민주성 부재나 권력 비대칭성에 대한 규범적 평가와 개선안이 부족
• 후속연구 방향: (1) 구체적 사례들에 대한 4차원 분석의 실행과 미세조정, (2) 초국적 평가 표준화 확산의 메커니즘 분석, (3) 과학자 커뮤니티의 저항과 적응 양식 추적, (4) 글로벌 불평등 구조와 RES의 관계에 대한 심층 분석

Evaluation

총평: 본 논문은 과학 평가 체계를 거버넌스 및 문화적 현상으로 재개념화하고, 방법론적 국가주의를 극복할 수 있는 체계적 분석틀을 제시함으로써 RES 연구의 이론적 기초를 크게 확대한다. 다만 휴리스틱의 경험적 타당성 검증과 규범적 함의의 심화가 후속 과제로 남아있다.