Cross sectional pilot study on clinical review generation using large language models

Motivation

• Known: 의료 문헌의 급속한 증가로 인해 임상 실무와 연구를 위한 근거 종합의 필요성이 높아졌으며, LLM을 활용한 자동화 솔루션에 대한 관심이 증가하고 있다. 그러나 LLM 기반 리뷰 생성 플랫폼의 직접적인 평가는 아직 이루어지지 않았다.
• Gap: 기존 플랫폼과 인간이 작성한 임상 리뷰 간의 구체적인 격차와 기존 검사 시스템이 AI 생성 임상 리뷰를 효과적으로 감지할 수 있는지 여부에 대한 체계적 평가가 부족하다.
• Why: 의료 연구의 신뢰성 보장과 학술 윤리를 위해 AI 생성 리뷰의 품질, 신뢰성, 검출 가능성을 정량적으로 평가하는 것이 중요하며, 이는 LLM의 책임감 있는 통합을 위한 필수 요소이다.
• Approach: 2439개의 AI 생성 임상 리뷰와 인간 저자의 리뷰를 비교하여 기본 품질(단락 수, 참고문헌 수, 포괄성, 진정성, 정확도), 참고문헌 분포(발행 연도, impact factor, CiteScore), 인용 품질, 학술 출판 위험(표절 검사, AIGC 검출)을 분석했다.

Achievement

Fig. 1 | The analysis results of the three indicators. The boxplot illustrates the data

• 기본 품질 차이 입증: AI 리뷰는 단락 수(13 vs 36), 참고문헌 수(20 vs 87)에서 유의하게 적고, 포괄성(0.367% vs 2.113%), 진정성, 정확도가 낮음
• 참고문헌 분포의 문제: AI는 최근 5년 논문 비율이 높지만(46.7% vs 36.9%), Q1 저널(34.3% vs 60.4%)과 high-impact factor 논문(impact factor ≥10에서 12.3% vs 30.2%)의 비율이 낮음
• 검출 시스템의 무효성: AI 생성 리뷰의 표절 검사 적중률 28%, AIGC 검출 플랫폼의 변동성 범위 8-100%로 신뢰성 부족
• 주관적 지표의 격차: 언어 품질, 참고문헌 평가 깊이, 논리성, 혁신성, 전체 품질 모두에서 AI가 인간보다 현저히 낮음

How

Fig. 1 | The analysis results of the three indicators. The boxplot illustrates the data

• 원래 2439개 리뷰 중 형식 기준으로 필터링하여 2169개 포함
• 순환계, 소화계, 내분비계, 면역계, 신경계, 생식계, 호흡계, 비뇨계, 기타 9개 임상 분야 포함
• 전문가 평가를 통한 주관적 지표(언어 품질, 참고문헌 평가 깊이, 논리성, 혁신성, 전체 품질) 및 객관적 지표(단락 수, 참고문헌 수, 출판 연도 분포, impact factor, CiteScore) 비교
• 8개 AIGC 검출 플랫폼의 성능 평가 및 표절 검사 실시
• Interrater reliability는 0.858-0.932로 높은 일관성 확인

Originality

• 기존 리뷰 생성 과정의 부분적 평가(검색 쿼리, 정보 추출)와 달리 LLM 플랫폼이 생성한 완전한 임상 리뷰의 직접적 평가 수행
• 단순 품질 비교를 넘어 참고문헌 분포, 저널 등급, 학술 윤리 측면의 다층적 분석 제시
• AIGC 검출 시스템의 효율성을 최초로 대규모로 평가하여 현실의 문제점 노출

Limitation & Further Study

• 특정 시점의 단면 조사로 AI 모델 업데이트에 따른 시간적 변화 반영 불가
• 선택된 9개 임상 분야만 포함되어 모든 의료 영역을 대표하지 못함
• 인간 저자의 리뷰 저널이 정해지면 AI 생성 리뷰도 동일 저널 기준이어야 하는데, 이로 인한 편향 가능성
• AIGC 검출 플랫폼 8개만 평가하여 새롭거나 다른 검출 도구의 성능 파악 제한
• 향후 더 정교한 AI 생성 콘텐츠 검출 시스템 개발 필요
• 의료 분야의 LLM 적용에 대한 제도적·윤리적 프레임워크 수립 필요

Evaluation

총평: 본 연구는 AI 생성 임상 리뷰와 인간 저자의 리뷰 간 구체적인 차이를 체계적으로 밝히고 기존 검출 시스템의 무효성을 실증함으로써, LLM의 책임감 있는 의료 분야 통합을 위한 중요한 근거를 제공한다. 다만 단면 조사의 시간적 제약과 제한된 임상 영역 범위에서는 일반화에 주의가 필요하다.