214 From Mentions to Meaning: Understanding CTSA research citations usage in policy documents

Motivation

• Known: CTSA는 translational research 지원을 통해 연구 역량을 강화하고 있으며, 연구의 정책 영향을 평가하는 것이 중요하다. 그러나 기존 평가는 주로 인용 횟수 같은 정량적 지표에 의존해왔다.
• Gap: 정책 문서에서 연구가 배경 맥락으로만 인용되는지, 아니면 정책 증거 기반을 형성하는 실질적 역할을 하는지 구분하는 질적 분석이 부재하다. CTSA-supported research의 정책 영향에 대한 의미 있는 사례를 식별하는 방법론이 필요하다.
• Why: CTSA의 실질적 정책 영향을 입증하기 위해서는 단순 인용 수가 아닌 연구가 실제로 정책 결정을 어떻게 형성하는지 보여주어야 한다. 이를 통해 정책 입안자와 연구자 간의 진정한 협력 사례를 강조할 수 있다.
• Approach: Overton을 활용하여 정책 인용이 가장 많은 CTSA-supported publications을 식별한 후, 이들을 인용한 정책 문서를 Yu et al.(2023)의 5가지 motivation codes로 내용 분석한다. 코딩된 데이터를 Overton 메타데이터(인용 조직 특성 등)와 연계하여 패턴을 분석한다.

Achievement

• 의미 있는 정책 참여 사례 식별: 배경 맥락 인용 대비 정책 의사결정을 실질적으로 형성하는 연구 활용 사례를 구분하여 보고
• 조직 특성과의 연관성 분석: 더 의미 있는 연구 활용이 특정 조직 유형이나 부문과 관련되는지 탐색
• 정책 평가 방법론 제안: research-to-policy engagement를 평가하는 질적 분석 방법이 CTSA impact 식별에 효과적인지 검증하는 예비 근거 제시

How

• Overton 데이터베이스를 통해 정책 인용 수가 높은 CTSA-supported publications 식별
• 인용한 정책 문서들에 대해 Yu et al.(2023)의 5가지 motivation codes를 이용한 content analysis 수행 (배경 맥락부터 정책 증거 기반 형성까지 분류)
• 코딩된 데이터를 Overton 메타데이터(인용 조직 특성, 부문 등)와 연계하여 패턴 분석
• substantive research-to-policy engagement 사례와 조직 유형/부문 간의 관계 탐색

Originality

• 정책 인용 분석에 scientometric framework (Yu et al. 2023)를 체계적으로 적용한 novel approach
• 단순 인용 횟수가 아닌 인용의 '질(quality)'을 평가하는 방법론으로 CTSA impact 평가 방식의 혁신", 'Overton 메타데이터와 코딩 분석의 통합으로 정책 영향의 조직적·구조적 패턴을 파악하는 다층 분석

Limitation & Further Study

• 예상되는 결과(Anticipated Results)이므로 실제 데이터 수집과 분석의 성공을 담보하지 못함
• 정책 문서 범위의 정의가 명확하지 않아 분석 대상의 편향 가능성 (중앙정부 vs 지역정부 vs 기관 정책 문서 등)
• 5가지 motivation codes 외에 맥락적 요인(정책 타입, 입안 시점, 조직의 연구 친화도 등)이 활용 방식에 미치는 영향에 대한 분석 부재
• 후속 연구로는 국제 비교 분석과 장기 추적(정책이 실제 시행되었는지 등)이 필요

Evaluation

총평: CTSA의 정책 영향을 평가하는 방법론을 질적·정량적으로 통합하여 의미 있는 research-to-policy engagement 사례를 식별하는 혁신적 연구이다. 정책 입안자와 연구자 간의 실질적 협력을 입증함으로써 translational science의 정책적 가치를 제시하는 데 기여할 것으로 기대된다.