CareTransition-Audit: A Benchmark to Audit Discharge Summaries for Efficient Care Transitions

Motivation

• Known: 퇴원요약서(discharge summary)의 불완전하거나 모호한 문서화는 care fragmentation과 회피 가능한 재입원(readmission)을 유발하며, AHRQ의 IDEAL Framework, DISCHARGED mnemonic과 같은 구조화된 품질 프레임워크가 이미 제안되어 있다.
• Gap: 기존 프레임워크는 임상의의 수기 chart review에 의존해 시간·인력 소모가 크고 대규모 적용이 불가능하며, 기존 LLM 기반 연구는 discharge summary의 생성(generation)이나 factual reliability(예: PDSQI-9, hallucination detection)에 집중되어 있어 patient-centric한 문서 완전성(completeness) 자동 감사(auditing)에 대한 연구는 전무하다.
• Why: 퇴원 문서의 완전성은 환자 안전과 30일 재입원율에 직접적인 영향을 미치는 요소이며, 자동화된 감사 도구가 확보되면 대규모 임상 문서 품질 개선(quality improvement) 및 care transition 안전성 향상에 실질적으로 기여할 수 있다.
• Approach: DISCHARGED 프레임워크의 10개 구성요소를 임상 전문가 검증을 거쳐 46개 atomic 감사 질문으로 operationalize하고, MIMIC-IV에서 stratified sampling으로 추출한 50개 퇴원요약서에 대해 11개 LLM을 zero-shot으로 벤치마킹하여 임상의 ground-truth 라벨과의 일치도를 측정하였다.

Achievement

1. 클리니션 검증 벤치마크 구축: 46개 audit question과 50개 MIMIC-IV discharge summary에 대한 clinician-verified ground-truth 라벨셋을 최초로 구축하였다.
2. 11개 LLM zero-shot 베이스라인 제시: Claude Sonnet-4.5, Gemini-3-Flash-Preview, DeepSeek v3.2, GPT-5.4 등 다양한 모델 패밀리 및 파라미터 규모를 아우르는 zero-shot 성능을 비교하였으며, 모델별 완전성 점수는 54.9%~74.2%로 나타났다.
3. 일치도 분석: 최고 성능 모델의 Cohen's κ는 약 0.496 수준으로 moderate agreement에 그쳤고, 모든 모델이 κ=0.6 "good agreement" 임계값 이하였으며, 특히 Unclear(모호한 문서화) 판별에 취약함을 확인하였다.

How

• DISCHARGED의 10개 구성요소(Demographics, Important Alerts, Social Setup, Comp. History, History & Exams, Assessment & Course, Recorded Med Δ, Goals of Care, Expected Follow-up, Discharge Info)를 46개 문항으로 세분화
• 각 질문에 대해 Yes/No/Unclear/N/A 4가지 라벨 체계 정의, 문서화 누락과 실제 진료 미시행을 개념적으로 분리
• MIMIC-IV에서 생존 퇴원(in-hospital mortality 제외) 성인 입원 환자 중 discharge disposition 및 ICU 이용 여부를 기준으로 stratified sampling하여 50개 요약서 선정
• 46개 질문을 6개 prompt(질문당 10개 미만)로 분할하여 요약서당 6회 LLM 호출, indirect Chain-of-Thought 방식으로 증거 추출 및 justification 요구
• de-identification으로 인한 false negative를 줄이기 위해 마스킹된 식별자를 인식하도록 명시적 지시
• OpenRouter API를 통한 10개 모델과 HuggingFace Transformers로 로컬 배포한 Qwen 2.5-7B-Instruct를 포함해 총 11개 모델 평가, accuracy/κ/weighted F1/Spearman ρ에 대해 1,000회 bootstrap resampling으로 95% 신뢰구간 산출

Originality

• 기존에 없던 discharge summary의 patient-centric completeness 자동 감사라는 문제를 최초로 정의하고 벤치마크화
• DISCHARGED라는 임상 mnemonic 프레임워크를 정량적 46문항 체크리스트로 최초 operationalize
• 문서화 부재(documentation gap)와 임상 진료 미시행(care gap)을 개념적으로 분리하는 라벨 체계(Yes/No/Unclear/N/A) 설계
• 로컬 배포 가능한 오픈소스 모델(Qwen 2.5-7B)을 포함해 privacy-preserving on-premise auditing의 실현 가능성을 함께 제시

Limitation & Further Study

• 표본 크기가 50개 요약서로 매우 작아 통계적 검정력이 제한적이며, 단일 임상 전문가에 의한 ground-truth 라벨링으로 inter-rater reliability가 검증되지 않음
• 모든 모델이 κ=0.6 미만으로 "good agreement" 수준에 미달하며 특히 Unclear 라벨 판별에 취약해 실제 임상 적용 전 추가 개선이 필요
• zero-shot 세팅만 평가되어 few-shot이나 fine-tuning, prompt engineering을 통한 성능 개선 가능성은 미탐구
• 단일 기관(Beth Israel Deaconess Medical Center) 데이터에 국한되어 다른 병원/EHR 시스템에 대한 일반화 가능성 미검증
• 후속 연구로 더 큰 규모의 다기관 검증, 다수 임상의에 의한 라벨링, Unclear 판별을 위한 특화 기법 개발이 필요

Evaluation

총평: 퇴원요약서 완전성 자동 감사라는 임상적으로 중요하지만 미개척된 문제를 clinician-validated 벤치마크와 함께 체계적으로 제시한 의미 있는 초기 연구이나, 표본 크기와 라벨링 신뢰성 측면에서 추가 검증이 필요하다.