MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Setting

Motivation

• Known: LLM은 임상 추론 및 의사결정 지원에서 유망한 성능을 보여왔으며, MIMIC-IV와 같은 정적 데이터셋이나 Synthea와 같은 규칙 기반 합성 데이터 생성기가 EHR 관련 벤치마킹에 널리 사용되어 왔다.
• Gap: 기존 접근법들은 정적 데이터셋이나 비정형 텍스트 입력에 의존하여 실제 임상 시스템에서 사용되는 interoperable한 FHIR 형식을 반영하지 못하며, LLM 기반 text-to-FHIR 방법들(FHIR-GPT, Infherno)도 기존 기록의 충실한 재구성에 초점을 맞출 뿐 진단 추론 평가를 위한 다양하고 통제 가능한 환자 케이스 생성은 지원하지 않는다.
• Why: 실제 배포 환경과 정합된 구조화된 FHIR 입력 상에서 LLM 기반 CDSS를 평가하는 것은 텍스트 기반 평가와 본질적으로 다른 도전 과제이며, 이를 위한 확장 가능하고 통제 가능한 벤치마크가 부재했기 때문에 이 연구는 배포 지향적 평가의 중요성을 실증적으로 보여준다는 점에서 중요하다.
• Approach: 저자들은 고정된 단계(추출, terminology grounding을 위한 재순위화, FHIR 합성, 의미적 유출 탐지)에서 서로 다른 LLM들을 호출하는 multi-stage 파이프라인을 설계하고, 결정론적 vocabulary 검색과 구조적/의미적 일관성 검증 및 repair loop를 결합하여 hallucinated code를 제거한다.

Achievement

Figure 1. Overview of MedCase-Structured. (A) Free-text clinical cases are converted into terminology-grounded HL7 FHIR

1. 파이프라인 구축: 비정형 텍스트로부터 terminology-grounded FHIR R4 bundle을 생성하는 재사용 가능한 다단계 파이프라인을 개발하였다.
2. 데이터셋 생성: MedCaseReasoning의 임상의 작성 진단 케이스로부터 1,732개의 FHIR bundle을 생성하였으며, 시도된 케이스의 97.1%에서 완전하고 유효한 bundle을 산출하였다.
3. 평가 결과 도출: MedCase-Structured 상에서 LLM이 plain text 입력 대비 구조화된 FHIR 입력에서 일관되게 낮은 진단 정확도를 보임을 확인하여 배포 정합적 벤치마킹의 필요성을 입증하였다.

How

Figure 1. Overview of MedCase-Structured. (A) Free-text clinical cases are converted into terminology-grounded HL7 FHIR

• 추출(Extraction) 단계: GPT-5.4-mini를 사용해 자유 텍스트 케이스를 인구통계 및 증상, 소견, 활력징후, 검사, 약물, 시술, 병력 등을 포함하는 typed intermediate representation으로 파싱하며, 각 추출 항목에 verbatim source quote를 유지하고 pertinent negative를 플래그하며 primary diagnosis를 별도로 캡처한다.
• Terminology Grounding 단계: 추출된 개념을 SNOMED CT, LOINC, RxNorm, CVX 등 target terminology로 라우팅하고, SapBERT 임베딩과 FAISS 인덱스를 사용해 후보를 검색한 뒤 Gemini 3.5 Flash로 재순위화(rerank)한다.
• FHIR 합성 및 검증: Claude(claude-sonnet-4-5)를 사용해 FHIR 자원을 합성하고 semantic leak detection을 수행하며, validation error는 repair loop를 통해 피드백되고 rule-based post-processing으로 완전성과 정규화를 처리한다.
• 평가 설계: 진단명을 마스킹(diagnosis-masked)한 구조화된 bundle을 사용해 LLM 기반 CDSS의 EHR-congruent 진단 추론 능력을 ground-truth 진단과 비교 평가한다.

Originality

• Synthea와 같은 규칙 기반 합성기나 FHIR-GPT/Infherno와 같은 기존 record 재구성 지향 LLM 기반 text-to-FHIR 방법과 달리, 진단 추론 평가를 위해 특별히 설계된 통제 가능하고 텍스트 기반의 FHIR 생성 방식을 최초로 제시한다.
• 고정된 단계에서 서로 다른 특화 LLM(GPT-5.4-mini, Gemini 3.5 Flash, Claude)을 조합하여 각 단계의 역할을 분리한 설계는 agent 기반 동적 tool 호출 방식과 대비되는 결정론적이고 재현 가능한 구조를 제공한다.
• terminology-grounded validation 및 repair loop를 통해 hallucinated code를 명시적으로 제거하고 semantic leak(진단 유출)을 탐지하는 메커니즘을 도입하였다.

Limitation & Further Study

• 파이프라인이 여러 상용 LLM(GPT, Gemini, Claude)에 강하게 의존하고 있어 모델 버전 변경이나 비용/재현성 측면에서 한계가 있을 수 있으며, greedy decoding에도 불구하고 완전한 결정론성이 보장되지 않는다.
• 97.1%의 성공률이 높지만 나머지 실패 케이스의 특성과 원인에 대한 심층 분석이 발췌 부분에서는 제한적이며, 데이터셋이 특정 소스(MedCaseReasoning)의 진단 사례에 국한되어 다른 임상 도메인이나 longitudinal EHR 시나리오로의 일반화 가능성이 검증되지 않았다.
• 후속 연구로는 실제 임상 배포 환경에서의 검증, 더 다양한 임상 시나리오(만성질환, 다중 방문 기록 등)로의 확장, 오픈소스 LLM을 활용한 파이프라인 재현성 검증이 필요해 보인다.

Evaluation

총평: 비정형 텍스트에서 terminology-grounded FHIR bundle을 생성하는 실용적이고 통제 가능한 파이프라인을 제시하고, 이를 통해 구조화된 입력에서 LLM 진단 성능이 저하됨을 실증적으로 보여준 의미 있는 벤치마크 논문이다. 다만 상용 LLM 의존성과 데이터셋 일반화 범위에 대한 추가 검증이 필요하다.