Compliance of systematic reviews and meta-analyses in ophthalmology with the PRISMA statement: an AI-based assessment and longitudinal comparison with 2017 data

Essence

Fig. 2 Compliance Rates (%) by PRISMA Item and Subpoint

안과 분야의 체계적 문헌고찰과 메타분석이 PRISMA 2020 체크리스트를 준수하는 정도를 평가하고, 인간 평가자와 AI 플랫폼(ChatGPT-4.0, Gemini Pro 2.5)의 평가 결과를 비교하며, 2017년 연구와의 종단 비교를 통해 보고 품질의 변화를 분석했다.

Motivation

Known: 체계적 문헌고찰과 메타분석은 근거 기반 의학의 핵심이며, PRISMA 성명서는 투명한 보고를 위한 표준이다. 2017년 선행 연구에서 안과 논문의 PRISMA 2009 체크리스트 준수도가 평가되었으나, PRISMA 2020으로의 업데이트 이후 최신 동향 평가가 필요했다.
Gap: PRISMA 2020 채택 이후 안과 분야 체계적 문헌고찰의 실제 보고 품질 변화가 미측정 상태였으며, AI 모델이 PRISMA 준수도 평가에 활용될 수 있는지 검증되지 않았다.
Why: 보고 품질의 투명성과 재현성은 근거의 신뢰성을 보장하며 임상 진료로의 전환을 촉진한다. 안과는 양측 안구 데이터로 인한 독특한 복잡성이 있어 정기적 평가가 중요하며, AI의 평가 능력 검증은 향후 연구 평가 효율성 향상에 필수적이다.
Approach: 207편의 안과 체계적 문헌고찰을 2명의 인간 평가자와 2개 AI 플랫폼으로 독립적 평가하여 PRISMA 2020 42개 항목의 준수도를 비교 분석했다. Cohen's kappa 통계량으로 인간-AI 일치도를 측정하고 Mann–Whitney U 검정으로 2017년 데이터와 비교했다.

Achievement

Fig. 2 Compliance Rates (%) by PRISMA Item and Subpoint

보고 품질의 현저한 개선: 인간 평가자 기준 평균 준수도 36.28/42점(86.37%)으로 2017년 대비 유의미한 향상(p < 0.00001)
AI 평가의 중등도 일치도: ChatGPT-4.0 κ = 0.63, Gemini Pro 2.5 κ = 0.54로 인간 평가와 적절한 수준의 일치도 확인
강점 영역 식별: 배경 및 근거(항목 3-4), 선택 기준(항목 5-10b), 제한사항(항목 23a-23c)에서 높은 준수도
지속적 결함 도출: 편향 위험 평가(항목 11), 민감도 분석(항목 13f, 20c), 연구 등록(항목 24a-24c)에서 낮은 준수도 확인

How

Fig. 1 PRISMA Flow Diagram of the Study Selection Process

상위 11개 안과 저널에서 2020-2024년 간 발표된 207편의 체계적 문헌고찰과 메타분석 선정
Ovid MEDLINE ALL 및 Embase 데이터베이스를 통한 체계적 검색(제어어와 자유어 조합)
PRISMA 2020 42개 항목에 대한 2인 인간 평가자의 독립적 평가(점수 기반)
ChatGPT-4.0 및 Gemini Pro 2.5 두 AI 플랫폼의 동일 논문 평가
Cohen's kappa 통계량을 통한 인간-AI 간 일치도 계산", 'Mann–Whitney U 검정을 이용한 2017년 연구 결과와의 종단 비교

Originality

PRISMA 2020 업데이트 이후 5년 경과 후 첫 대규모 안과 분야 종단 비교 연구 수행
인간 평가자와 두 개의 서로 다른 AI 플랫폼(ChatGPT vs Gemini)의 평가 결과를 체계적으로 비교하는 창의적 설계
안과의 고유한 양측 데이터 복잡성을 인식하고 보고 품질 평가의 맥락에서 명시적 언급
AI 모델의 PRISMA 준수도 평가 능력을 실증적으로 검증한 최초 시도

Limitation & Further Study

AI 평가와 인간 평가 간 적절한 일치도(κ = 0.54-0.63)이지만 완전한 일치에 미달하여 AI 단독 사용의 신뢰성 제한
안과 분야에만 국한된 연구로 다른 의료 전문 분야로의 일반화 가능성 미확인
2020-2024년만 분석하여 더 장기적 추세 파악 부족
AI 모델의 구체적 평가 오류 메커니즘 및 원인 분석 미흡
후속 연구: AI 모델의 정확성 개선을 위한 미세조정(fine-tuning) 및 추가 학습 데이터 확보 필요; 다학제 비교 분석; AI 오류의 질적 분석과 개선 방안 도출; 보고 결함의 구체적 해결 방안 개발

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 연구는 PRISMA 2020 도입 후 안과 분야의 보고 품질 개선을 실증하고, 체계적 문헌고찰 평가에서 AI 활용의 가능성과 한계를 처음으로 종합적으로 검토했다는 점에서 높은 가치가 있다. 다만 AI 평가의 중등도 일치도는 향후 개선의 여지를 시사한다.