Towards Error-Free EHRs: Reasoning-Intensive Consistency Verification Between Clinical Notes and Structured Tables in Electronic Health Records

Motivation

• Known: 기존 연구들은 clinical notes와 structured tables 간의 불일치를 탐지하기 위해 allergy나 medication 등 특정 도메인에 한정된 규칙 기반 또는 ML 기반 방법을 사용해왔으며, EHRCon은 MIMIC-III 기반으로 relational database에 대한 note-table consistency verification 벤치마크를 처음 제시했다.
• Gap: 기존 접근법들은 numeric value나 discrete event의 surface-level matching에 의존하여, clinical interpretation, event relations, temporal changes와 같은 실제 임상 문서 작성 과정에 내재된 reasoning을 포착하지 못한다.
• Why: EHR 내 데이터 불일치는 환자 안전과 법적 리스크에 직결되는 문제이며, 실제 임상 상황을 제대로 반영하는 reasoning 기반 검증 벤치마크가 없으면 자동화된 검증 시스템의 신뢰성을 담보할 수 없다.
• Approach: MIMIC-III의 discharge summaries, physician notes, nursing notes 등 105개 clinical notes로부터 8,048개 entity를 추출하고, 임상 전문가와 함께 개발한 annotation protocol과 8가지 table-exploration tool을 활용해 physician의 최종 조정(adjudication)을 거친 고품질 ground-truth label을 구축했다.

Achievement

Figure 2. Overview of the reasoning-intensive annotation process for note–table consistency verification. The pipeline i

1. EHR-ReasonCon 벤치마크 구축: MIMIC-III 기반으로 clinical interpretation, event relation, temporal trend를 포함하는 reasoning-intensive consistency verification 벤치마크를 최초로 제시했다.
2. 고품질 annotation 파이프라인 설계: 임상 전문가와 협업하여 protocol을 개발하고, tool-assisted table exploration 및 physician adjudication을 통해 annotation 신뢰도를 확보했다.
3. 기존 SOTA의 한계 규명: CheckEHR(기존 EHRCon 기반 SOTA)조차 본 벤치마크에서 낮은 성능을 보임을 실험적으로 입증하여, reasoning 기반 검증의 어려움을 드러냈다.

How

Figure 2. Overview of the reasoning-intensive annotation process for note–table consistency verification. The pipeline i

• 105개 clinical notes(discharge summaries, physician notes, nursing notes)에서 8,048개 entity를 추출하고 14개 MIMIC-III table과 연결
• Stage 0: 의료진과 함께 narrative expression을 structured field로 매핑하는 annotation protocol 및 도구 개발
• Stage 1: Anchor entity identification을 통해 notes 내 핵심 clinical entity(예: 약물명, 검사값) 식별
• Stage 2: Tool-assisted table exploration(lexical/semantic item retrieval, database exploration, temporal/conditional record retrieval 등 8개 도구)으로 관련 structured 데이터 탐색
• Stage 3: Consistency verification 단계에서 annotator가 CONSISTENT/INCONSISTENT 여부 판단
• Stage 4: 복수 annotator 간 annotation reliability 검증 및 physician의 최종 adjudication
• 평가는 expert-validated LLM-as-a-judge metric을 사용하여 CheckEHR 등 기존 방법과 비교

Originality

• 기존 surface-level matching 중심의 note-table consistency verification 연구와 달리, clinical interpretation·event relation·temporal change 등 다차원적 reasoning을 요구하는 벤치마크를 최초로 제안
• 임상 전문가 참여형 annotation protocol과 8가지 table-exploration tool을 결합한 체계적 annotation 파이프라인을 설계
• LLM-as-a-judge metric을 전문가 검증을 통해 벤치마크 평가에 도입하여 신뢰성 있는 자동 평가 체계 구축

Limitation & Further Study

• MIMIC-III라는 단일 소스(단일 병원 ICU 데이터)에 기반하여 구축되어, 다른 병원이나 EHR 시스템으로의 일반화 가능성이 제한적일 수 있음
• 105개 notes, 8,048 entity 규모로 특정 reasoning 유형(해석, 관계, 시간적 변화)에 집중되어 있어 다양한 임상 시나리오나 희귀 사례 커버리지가 제한적일 가능성
• CheckEHR 외 다양한 최신 LLM 기반 방법론과의 폭넓은 비교가 부족하여, 벤치마크의 난이도와 방법론적 개선 방향에 대한 심층 분석이 추가로 필요
• 향후 연구로 reasoning-intensive verification을 위한 새로운 모델 아키텍처나 prompting 전략 개발이 요구됨

Evaluation

총평: EHR 내 note-table consistency verification을 표면적 매칭에서 reasoning-intensive 문제로 재정의하며, 전문가 검증 기반의 고품질 벤치마크를 제공한 실용적이고 시의적절한 연구이다. 다만 단일 데이터 소스에 기반한 한계와 방법론 비교의 폭이 다소 제한적이라는 점은 향후 확장이 필요하다.