MedDocBench: Benchmarking Vision-Language Models for Reliable Structured Extraction from Real-World Clinical Forms

Motivation

• Known: 기존 OCR 및 문서 이해 벤치마크(FUNSD, XFUND, receipt/layout 벤치마크 등)는 key-value 구조나 layout-aware extraction을 다루며, 의료 멀티모달 벤치마크는 report understanding, clinical QA, bilingual IE 등을 연구해왔다.
• Gap: 기존 벤치마크들은 noisy handwriting, domain-specific abbreviation, ambiguous checkbox, 소규모 annotated resource라는 임상 서식 특유의 네 가지 문제를 동시에 다루지 않으며, 평가 시 postprocessing/normalization의 영향을 투명하게 분리해 보고하지 않는다.
• Why: 임상 워크플로우 디지털화의 첫 단계인 ingestion 과정에서 발생하는 오류는 이후의 cohort selection, risk modeling 등 downstream 분석 전체를 오염시킬 수 있음에도, 이 단계는 modeling 단계만큼 엄밀하게 벤치마킹되지 않아왔다.
• Approach: 실제 치과 병원에서 수집한 IRB-approved, de-identified 이중언어(영어-중국어) 임상 서식 100건을 기반으로, transcription과 structured extraction 두 과제를 설정하고 postprocessing ON/OFF 스위치를 갖춘 normalization-aware evaluator로 12개 VLM을 비교 평가했다.

Achievement

1. 이중언어 임상 서식 벤치마크 구축: Prince Philip Dental Hospital에서 수집한 100건의 IRB 승인 de-identified 서식으로 handwriting, printed text, checkbox가 혼재된 실제 임상 데이터를 반영.
2. Normalization-aware evaluator 제안: bilingual key mapping, value normalization, fuzzy matching을 포함한 postprocessing을 ON/OFF로 전환 가능하게 하여 evaluator 효과를 투명하게 분리.
3. 12개 VLM 비교 실험: Gemini, GPT, Qwen 계열 12개 모델을 대상으로 transcription(CER, WER, NED, BoW F1)과 structured extraction(Weighted score, Y/N Acc, HW CER/WER) 지표로 평가.
4. 핵심 발견: postprocessing 전환이 weighted score를 0.13-0.46 변화시키며, transcription 성능이 structured extraction 품질을 신뢰성 있게 예측하지 못함을 확인.

How

• 100개 문서를 transcription(55건)과 structured extraction(50건) split으로 구성, 5건은 공유
• structured extraction split은 동일한 25개 yes/no field schema(9% positive rate)를 가진 medical history form으로 통일하여 비교 가능성 확보
• Ground-truth는 모델 초안 생성 → 기술 스태프 수동 교정 → 인증 의사 검증의 3단계 절차로 구축
• transcription task는 free-form plain text 출력, structured extraction task는 handwriting_text와 yn_options 필드를 가진 JSON 출력을 요구하며 두 과제를 분리(결합 시 성능 저하 확인)
• 평가 지표로 CER, WER, NED, BoW F1(transcription)과 weighted score(수식 si=0.5×(ai+max(0,1−CERi))), Y/N accuracy, HW CER/WER(structured extraction) 사용
• postprocessing ON/OFF ablation으로 bilingual key alias mapping, Y/N value normalization, fuzzy key matching의 영향을 정량화
• positive-class precision/recall/F1/balanced accuracy를 추가로 보고하여 sparse positive rate로 인한 accuracy 왜곡 방지

Originality

• 기존 일반 문서 벤치마크와 달리 handwriting, abbreviation, checkbox 모호성, 데이터 희소성이라는 임상 서식 고유의 네 가지 문제를 동시에 다루는 최초의 focused bilingual clinical form 벤치마크
• postprocessing을 "숨겨진 구현 세부사항"이 아닌 "연구 대상"으로 명시적으로 분리해 ON/OFF 스위치로 제공하는 평가 프레임워크 설계가 독창적
• 실제 IRB 승인 병원 데이터를 기반으로 한 진단적(diagnostic) 벤치마크라는 포지셔닝 자체가 범용 OCR 벤치마크와 차별화됨

Limitation & Further Study

• 단일 기관(Prince Philip Dental Hospital)에서 수집된 100건 문서로 구성되어 population-representative한 임상 문서 성능 추정으로 일반화하기 어려움
• structured extraction split이 고정된 field schema(medical history form)로 제한되어 있어 unseen form family에 대한 주장은 제약됨
• 저자들도 인정하듯 범용 배포 주장(universal deployment claim)보다는 failure mode 분석과 evaluator sensitivity, reproducible baseline 제공에 초점
• 향후 연구로는 더 다양한 기관/서식 유형으로의 확장, checkbox 외 다른 clinical marking(예: 서명, 도장) 처리, 다국어 확장 등이 필요

Evaluation

총평: 실제 임상 현장의 ingestion 단계라는 종종 간과되는 영역을 정면으로 다루며, postprocessing의 영향을 투명하게 드러내는 평가 프로토콜을 제안한 점에서 실용적 가치가 높은 진단적 벤치마크 연구이다. 다만 단일 기관 데이터 기반의 소규모 벤치마크라는 점에서 일반화 가능성은 제한적이다.