Use of large language models as artificial intelligence tools in academic research and publishing among global clinical researchers

Motivation

• Known: NLP와 AI의 발전에 따라 Transformer 아키텍처(2017)가 LLM 기술을 혁신했으며, ChatGPT 출시 이후 academic research에서 LLM 사용이 급증했다. LLM은 문헌검토, 초록 스크리닝, 원고 작성에 활용되지만, 허위 인용, 편향 증폭, 윤리적 문제를 야기할 수 있다.
• Gap: 연구자들의 LLM 인식도와 현재 사용 관행에 대한 global 차원의 체계적 조사가 부족했으며, 특히 의료 연구자 집단의 태도와 향후 정책 방향에 대한 데이터가 제한적이었다.
• Why: LLM이 의료 연구 및 출판 분야에서 빠르게 확산되고 있으나, 연구자의 인식과 사용 관행에 대한 체계적 이해가 필요하고, 출판 윤리 및 학술 무결성 유지를 위한 정책 수립의 근거가 되기 때문이다.
• Approach: Harvard Medical School의 GCSRT 프로그램 참여자 중 2020-2024 cohort 226명을 대상으로 Google Forms를 통한 구조화된 설문을 실시했다. 배경, LLM 인식도, LLM 영향, 향후 정책의 4개 섹션으로 구성되었으며, 기술통계, ANOVA, Kruskal-Wallis, Chi-squared test, 정성 데이터는 thematic analysis를 적용했다.

Achievement

Fig. 1.  Future of LLMs in various stages of the publication process.

• LLM 인식도: 응답자의 87.6%가 LLM을 인식했으며, 인식자는 더 높은 출판 실적을 보임 (p < 0.001)
• 현재 사용: 인식자 중 18.7%가 LLM 사용 경험이 있었고, 주로 문법 오류 및 형식 수정(64.9%)에 활용
• 미래 전망: 인식자의 50.8%가 긍정적 영향을, 32.6%가 불확실한 미래를 예상
• 영향 예상 영역: 응답자의 52%가 문법/형식(66.3%), 수정 편집(57.2%), 작성(57.2%), 문헌검토(54.2%)에서 주요 영향을 예상
• 정책 입장: 58.1%가 저널의 AI 사용 허용을, 78.3%가 규제 필요성을 지지

How

Fig. 1.  Future of LLMs in various stages of the publication process.

• 대표성 있는 표본 구성: 59개국 65개 전문분야에서 온 의료·의료보조 연구자
• 구조화된 설문 도구: 4개 섹션으로 체계적인 정보 수집
• 엄격한 통계분석: 정상성 검정, 적절한 검정법 선택, 두 꼬리 검정
• 질적 데이터 분석: thematic analysis로 개방형 응답 분석
• 다층 접근: 인식도, 사용 행동, 미래 전망 등 종합적 평가

Originality

• 의료 연구자 집단의 LLM 인식 및 사용 관행에 대한 체계적 global 설문
• 구체적 사용 맥락(문법/형식, 문헌검토 등)과 미래 영향 영역을 상세 분석
• 연구자의 LLM 사용과 출판 실적 간 양의 연관성 발견
• 저널 정책 및 규제에 대한 연구자 의견 수집으로 실행 가능한 근거 제공

Limitation & Further Study

• 표본 특성: GCSRT 참여자 중심이라 더 교육받고 국제적 경험 많은 연구자 과대 대표될 가능성
• 선택 편향: WhatsApp, LinkedIn 기반 모집이라 디지털 접근성 높은 그룹 편향 가능
• 시간 제약: 2024년 4-6월 설문으로 빠르게 변하는 LLM 환경을 완전히 포착하지 못함
• 횡단면 설계: 인과관계 추론 불가능하고, 사용 여부와 출판 실적의 방향성 불명확
• 후속 연구: 장기 추적 조사와 다양한 의료 연구 기관 포함한 더 포괄적 표본 필요

Evaluation

총평: 본 연구는 의료 연구 분야의 LLM 사용 현황과 연구자 인식을 처음으로 체계적으로 조사한 의미 있는 연구이다. 적절한 통계 분석과 명확한 결과 제시를 통해 출판 정책 수립의 근거를 제공하나, 표본 특성의 한계와 인과관계 추론 불가능성은 결과의 일반화 가능성을 제약한다.