Structured Evidence Routing for Incident Risk Prediction from Multimodal Longitudinal EHRs

Motivation

• Known: recurrent, transformer 기반, pretrained foundation-style 모델들이 longitudinal structured EHR로부터의 미래 진단 예측 성능을 크게 향상시켜 왔으며, EHRSHOT은 이러한 구조화된 EHR 예측을 위한 표준화된 벤치마크를 제공한다.
• Gap: 기존 파이프라인은 주로 코드화된 diagnoses, procedures, medications에 의존하며 laboratory나 physiologic observation을 동등하게 풍부하고 명시적으로 통합하지 못하고, 전체 chart를 그대로 predictor에 전달하면 약한 disease-specific signal이 묻히는 반면 좁은 feature view는 반복적 이상 측정치나 cross-visit trend를 놓칠 수 있다.
• Why: multimodal하고 irregular한 longitudinal EHR에서 약하고 흩어진 조기 신호를 근거 기반으로 통합해 예측 가능성뿐 아니라 감사 가능한(auditable) 환자별 evidence trail을 제공하는 것은 임상적 신뢰성과 실제 배포 가능성 측면에서 중요하다.
• Approach: 전체 pre-index EHR에 접근 가능한 Record Router가 요약과 targeted evidence slice를 생성하고, Task Predictor가 이를 이용해 evidence-linked risk assessment를 수행하며, Reviewer가 이를 비판·검토해 필요시 반복 개선하는 LLM 기반 3단계 워크플로우이다.

Achievement

Figure 1. Structured evidence routing for incident risk prediction. A record router organizes long, irregular EHR histor

1. EHRSHOT 5개 1-year incident diagnosis task에서 경쟁력 있는 성능: hypertension, hyperlipidemia, lupus, acute myocardial infarction, pancreatic cancer 과제에서 routed evidence summary를 PubMedBERT 임베딩 후 XGBoost classifier에 넣는 supervised-readout 방식이 count-based, CLMBR, MoA+Cls 베이스라인의 AUROC 범위에 도달하고 AUPRC에서도 경쟁력을 보였다.
2. CLMBR 대비 전 과제 개선 및 MoA+Cls 대비 동등 이상: 모든 5개 과제에서 CLMBR을 능가했고, MoA+Cls와 동등하거나 이를 상회했으며 특히 hyperlipidemia, pancreatic cancer, acute myocardial infarction에서 개선을 보였다.
3. 구성요소별 기여도 확인: pre-readout ablation을 통해 routing, laboratory evidence, task guidance, review 각각이 프레임워크 자체의 예측 신호에 기여함을 시사했다.
4. 환자별 evidence trail 노출: 최종 예측과 함께 evidence-linked rationale을 제공하여 감사 가능성을 확보했다.

How

Figure 1. Structured evidence routing for incident risk prediction. A record router organizes long, irregular EHR histor

• EHRSHOT의 공식 train/validation/test 분할과 latest-label protocol을 따라 1-year incident diagnosis 5개 과제(hypertension, hyperlipidemia, lupus, acute myocardial infarction, pancreatic cancer)에서 평가
• 각 benchmark instance는 prediction time 이전에 관측된 structured EHR 이벤트만 포함
• Record Router: 전체 구조화 레코드에 접근 가능한 유일한 모듈로, salient한 활성 조건·주요 medication·최근 utilization·notable laboratory/physiologic trend를 담은 compact summary 생성 및 disease-specific follow-up 요청에 대한 targeted evidence slice 반환
• Task Predictor: 임상 가이드라인 기반 task guidance를 활용해 router summary와 retrieved evidence로 초기 incident-risk 추정치와 evidence-linked rationale 생성, 필요시 router에 추가 evidence slice 요청
• Reviewer: 중간 assessment에서 unsupported claims, missing evidence, temporal inconsistencies를 평가하고 필요시 predictor의 반복 개선을 트리거(iteration limit 존재)
• 주 벤치마크 비교를 위해 routed evidence summary를 PubMedBERT로 임베딩 후 XGBoost classifier(supervised readout)에 통과시켜 count-based, CLMBR, MoA+Cls와 동일한 task-label-access 체제에서 비교
• 별도로 pre-readout 내부 ablation(routing, laboratory evidence, task guidance, review 제거)을 수행하여 프레임워크 자체 기여도 분석(별도 classifier 재학습 없이 진행)

Originality

• 전체 pre-index structured EHR(diagnoses, procedures, medications, laboratory results, measurements, observations, utilization history 포함)을 활용해 incident risk를 예측하는 접근
• 전체 레코드 접근(router)과 질환별 평가(predictor)를 명시적으로 분리하는 router-predictor-reviewer 워크플로우를 제안하여 gatekeeper-style diagnostic orchestration 개념을 sequential diagnosis가 아닌 structured longitudinal EHR 예측에 적용
• LLM 기반 evidence routing과 review 메커니즘을 통해 환자별 evidence trace를 생성함으로써 예측 과정의 해석 가능성과 감사 가능성을 동시에 추구
• 지도학습 베이스라인과의 공정한 비교를 위해 routed summary를 supervised classifier readout과 결합하는 평가 프로토콜 설계

Limitation & Further Study

• 평가가 EHRSHOT의 5개 과제로 제한되어 있어 다른 질환군이나 기관/데이터셋으로의 일반화 가능성이 불분명함
• LLM 기반 router/predictor/reviewer의 비용, 지연시간, prompt 민감도 및 재현성에 대한 논의가 부족함
• 본문 발췌에는 laboratory evidence, task guidance, review 각각의 정량적 ablation 수치가 제시되지 않아 기여도의 크기를 판단하기 어려움
• reviewer의 반복 개선(iteration) 종료 기준과 실패 사례(예: reviewer가 잘못된 판단을 내리는 경우)에 대한 분석이 필요함
• 후속 연구로는 더 다양한 질환·기관 데이터에 대한 검증, LLM 컴포넌트의 hallucination/오류 전파 위험 정량화, 그리고 end-to-end 학습 가능한 routing 메커니즘과의 비교가 요구됨

Evaluation

총평: multimodal longitudinal EHR에서 evidence 분리와 검토를 명시적으로 구조화한 router-predictor-reviewer 워크플로우는 해석 가능성과 성능을 동시에 추구하는 흥미로운 시도이나, 워크숍 페이퍼 수준의 제한된 과제 수와 정량적 ablation 세부사항 부족으로 인해 추가 검증이 필요하다.