The pivot penalty in research

Motivation

• Known: 기존 창의성 및 탐색 이론(theories of creative search)은 연구자가 자신의 전문성(expertise)을 넘어 새로운 영역을 탐색(exploration)하는 것이 novelty와 혁신적 통찰을 낳을 수 있다는 잠재적 이점을 강조해왔으나, 동시에 전문성 밖으로 이동하는 데 따르는 어려움도 지적되어 왔다.
• Gap: 연구자가 기존 연구 영역에서 얼마나 멀리 이동(pivot)하는지를 대규모로 정량화하는 측정 프레임워크가 부재했고, pivot의 정도와 그 결과(성과) 사이의 체계적 관계에 대한 실증적 이해가 제한적이었다.
• Why: 과학과 기술은 synthetic biology, climate change, COVID-19 pandemic과 같은 새로운 기회와 위협에 지속적으로 적응해야 하며, 연구자·조직·사회 전체의 적응 능력(adaptability)은 과학기술 진보와 조직·경제·사회의 흥망을 좌우하는 핵심 요인이기 때문에 pivot의 성과를 이해하는 것은 과학정책과 연구관리에 중요한 함의를 지닌다.
• Approach: 저자들은 논문의 참조 저널 분포 또는 특허의 기술 분류 코드 분포에 기반한 cosine-similarity 지표(pivot size, Φ)를 정의하여 연구자의 신작이 기존 연구 포트폴리오로부터 얼마나 벗어났는지를 측정하고, 이를 1970~2020년의 수백만 편 논문(Dimensions 색인)과 1985~2020년 미국 특허 데이터에 적용했다.

Achievement

Fig. 3 | Pivots and retraction events. a, This difference-in-differences analysis

1) 과학·특허 전반에 걸친 보편적 pivot penalty를 발견했다. 2) pivot penalty가 지난 50년간 그 크기가 증가해왔음을 보였다. 3) COVID-19 pandemic과 같은 pull 사건, retraction과 같은 push 사건에서도 pivot penalty가 지속됨을 입증했다. 4) 이 현상이 분야, 경력 단계, 생산성, 협업, 자금지원 맥락 전반에 걸쳐 일반화됨을 확인했다.

How

• 논문 대상: 25.8 million편(1970~2015, 154개 분야)의 참조 저널 분포로 Φ를 계산하고, 상위 5% 피인용(citation) 여부를 이진 hit-rate 지표로 사용
• 특허 대상: 1.72 million건(1980~2015, 127개 기술분류)의 기술분류 코드 분포로 Φ를 계산하고 동일한 방식으로 hit-rate 산출
• binned scatterplots(20개 등분 그룹)로 pivot size와 고성과 확률 간 관계를 시각화(Methods 중 Binned scatterplots)
• 개인 고정효과(individual fixed effects) 회귀분석을 통해 연구자 개인 내(within-researcher) pivot penalty를 별도로 추정(Methods 중 Regressions with individual fixed effects)
• retraction(지식의 신뢰성 붕괴에 따른 push 사건)과 COVID-19 pandemic(pull 사건)을 준자연실험(quasi-natural experiment)으로 활용한 difference-in-differences 분석 수행
• 다양한 기술분류 수준(가장 넓은 것부터 좁은 것까지)에서 강건성(robustness) 검증

Originality

• 연구자·발명가의 pivot을 정량화하는 통일된 cosine-similarity 기반 측정 프레임워크(pivot size, Φ)를 새롭게 제안
• 논문과 특허라는 이질적 데이터 소스에 동일한 원리(저널 분포 대 기술분류 분포)를 적용하여 과학과 기술 전반을 아우르는 비교 분석을 수행
• 자연적으로 발생하는 push/pull 사건(retraction, COVID-19 pandemic)을 활용해 pivot penalty의 인과적 해석 가능성을 강화
• 50년에 걸친 장기간 데이터를 통해 pivot penalty의 시간적 추세(증가 경향)를 최초로 제시

Limitation & Further Study

• pivot 측정이 저널/기술분류라는 카테고리 수준의 근사치에 의존하므로, 실제 지식/개념적 거리(conceptual distance)를 완벽히 포착하지 못할 가능성이 있음
• citation 기반 hit-rate가 impact의 유일한 척도로 사용되어, 질적이거나 장기적인 과학적 가치를 놓칠 수 있음
• retraction과 COVID-19 사례연구는 특정 맥락에 국한되어 있어 다른 유형의 exogenous shock에 대한 일반화 가능성은 추가 검증이 필요함
• 관찰 데이터 기반 분석이므로 pivot과 저성과 간의 인과관계(causality)를 완전히 배제하기 어렵고, 선택 편향(selection bias, 예: 저성과가 예상되는 연구자가 오히려 더 크게 pivot하는 역인과 가능성)에 대한 추가적 논의가 필요
• 향후 연구에서는 pivot penalty를 완화할 수 있는 조직적·정책적 개입(intervention) 방안에 대한 실증 연구가 요구됨

Evaluation

총평: 방대한 데이터와 참신한 측정 프레임워크를 결합해 과학기술 전반에 걸친 보편적 pivot penalty를 설득력 있게 입증한 중요한 연구로, 과학정책과 연구관리에 실질적 함의를 제공한다.