Data, measurement and empirical methods in the science of science

Motivation

• Known: Scientometrics, metascience, 과학경제학, 과학기술학(STS), 과학사회학 등 다양한 학문분야에서 과학의 작동 방식을 연구해왔으나, 이들 커뮤니티는 학문적 경계를 따라 단편화되어 있으며 서로 다른 방법론과 데이터를 활용해왔다.
• Gap: 다양한 학문 분야에서 과학을 연구하는 방법론이 발전했으나, 이들 접근법의 강점과 한계, 그리고 적절한 사용 시점에 대한 통합적 이해와 가이드가 부재하여 연구자들이 자신의 분야 밖의 방법론을 이해하고 활용하기 어렵다.
• Why: 과학 정책 수립과 과학 기관 설계, 과학적 진보 촉진을 위해서는 과학이 어떻게 작동하는지에 대한 깊은 이해가 필수적이며, 단편화된 방법론들을 통합적으로 이해하고 활용할 수 있는 프레임워크 제공이 중요하다.
• Approach: Web of Science, PubMed, CrossRef, OpenAlex 등의 공개 데이터셋과 funding, patent, peer review 정보를 포함한 다층적 데이터 통합을 통해, publication-based measure, funding impact, citation patterns 등 다양한 측정 구조를 구성하고, regression analysis, causal inference, machine learning prediction, network analysis 등의 실증적 방법론을 비교 분석한다.

Achievement

대규모 데이터의 가용성 증대: 과거 수작업 기반의 데이터 수집에서 현대의 대규모 공개 데이터셋(수백만 개의 논문, 펀딩, 특허 등)으로의 전환으로 연구 범위와 규모가 획기적으로 확대됨. 측정 도구의 다양화: 논문의 novelty, interdisciplinarity, impact 등 기존에 정량화하기 어려웠던 개념들을 구체적으로 측정 가능하게 함. 방법론적 다양성: regression, causal inference, machine learning, network analysis 등 다양한 실증적 접근법들을 정리하고 각각의 적용 조건을 명시함. 정책 관련 질문에 대한 실증적 답변: 과학 투자의 적정 규모, 혁신적 과학의 조건, 보상 체계의 영향, 재현성 요인 등 핵심 정책 질문들에 대한 데이터 기반 분석 가능성 제시.

How

Fig. 2 | An example of prediction with machine learning. This figure illustrates

• 다중 데이터 통합: Publication data (WoS, PubMed, CrossRef, OpenAlex), Funding data (NIH, NSF, UMETRICS), Patent data, Peer review data, Training genealogy, Policy documents 등을 연결 가능한 식별자(ORCID, DOI 등)를 통해 통합.
• 다층적 측정 구조 개발: 저자, 논문, 기관, 팀, 펀딩 수준에서의 다양한 성과 지표(h-index, citation impact, novelty score, interdisciplinarity index 등) 정의.
• 다양한 실증 방법론 비교: Descriptive analysis, correlation analysis, regression (OLS, logistic), causal inference (instrumental variable, natural experiment, regression discontinuity, difference-in-differences), machine learning (supervised learning for prediction, representation learning), network analysis (collaboration network, citation network).
• 방법론 선택 가이드: 연구 질문의 특성에 따라 (descriptive vs. causal vs. predictive) 최적의 방법론을 제시하고 각 방법의 가정과 한계를 명시.

Originality

• 통합적 리뷰의 저술: 과거에 분산되어 있던 scientometrics, metascience, STS, 과학경제학 등을 하나의 프레임워크 아래에서 비교 분석한 첫 번째 종합적 시도.
• 데이터 생태계 매핑: Fig. 1에서 보여주는 바와 같이, publication부터 funding, patent, peer review, policy document, training genealogy, clinical trials에 이르는 종합적 데이터 생태계를 체계적으로 시각화하고 분류한 혁신적 기여.
• 실증 방법론의 규범화: 다양한 학문 분야에서 흩어져 있던 실증적 접근법들을 표준화된 틀 속에서 정렬하고, 각 방법의 적용 시점과 제약 조건을 명확히 함.

Limitation & Further Study

• 기술적 세부사항의 제한적 제공: 논문은 각 방법론의 개략적 개요만 제공하며, 구체적 기술적 구현 방법은 다른 전문 문헌을 참조하도록 함으로써, 독자가 실제 분석을 수행하는 데 필요한 충분한 기술적 지침 부족.
• 인과추론의 인식론적 한계: 많은 science of science 연구가 observational data 기반이기 때문에 인과성 확립의 어려움. Natural experiment나 instrumental variable 등을 통해 보완하려 하지만, 완전한 인과 추론은 제한적.
• 데이터 가용성의 편향성: WoS, PubMed, CrossRef 등 주요 데이터셋들이 영어권 학술 활동과 주류 과학 분야에 편향되어 있으며, 개발도상국의 과학 활동과 비주류 학문 분야를 충분히 대표하지 못함.
• 정책 적용의 복잡성: 실증적 발견이 직접적으로 정책으로 전환되기 어려운 점. 과학 시스템의 복잡성과 맥락의존성으로 인해 한 맥락에서의 발견이 다른 맥락에서 일반화되지 않을 수 있음.
• 후속 연구 방향: 측정 도구의 타당성 검증, 다학제 간 데이터 표준화, 저소득 국가 포함, 단기 대비 장기 영향의 평가 등에서의 개선 필요성.

Evaluation

총평: 본 리뷰는 과학 연구 자체를 과학의 대상으로 삼는 science of science 분야의 데이터, 측정, 방법론을 종합적으로 정리한 중요한 기여물로, 다양한 학문 분야의 단편화된 접근법을 통합적으로 이해할 수 있는 프레임워크를 제공한다. 과학 정책 수립과 과학 기관 설계에 대한 직접적인 함의를 제시하며, 향후 science of science 연구의 표준 참고 문헌이 될 것으로 예상된다.