The Verbose Context Problem in Medical Records

Motivation

• Known: 기존 long-context 벤치마크는 주로 관련 없는 "hay"(방해 정보) 속에서 관련 정보를 찾는 능력을 평가하며, 의료 도메인에서는 EHR 코드를 텍스트로 변환할 때 발생하는 verbosity 자체가 병목이 될 수 있다는 점, 그리고 Synthea 같은 rule-based 환자 데이터 생성기가 존재한다는 것이 알려져 있다.
• Gap: 구조화된 의료 코드가 텍스트 표현으로 바뀔 때 발생하는 토큰 비효율성(verbosity) 자체를 분리하여 측정하는 벤치마크가 없었고, 개별 환자 단위 질의로 분해할 수 없는 population-scale(코호트 수준) multi-hop 추론 과제를 다루는 벤치마크와, 이를 대량 생성할 수 있는 자연어 제어 기반 합성 환자 기록 생성 도구가 부재했다.
• Why: 인구집단 건강 분석은 수천 개의 코드화된 이벤트를 포함한 40만 토큰 이상의 longitudinal record를 다뤄야 하므로, LLM이 실제 population health 워크플로우(위험도 조정, 코호트 분석 등)를 대체하려면 이 verbose context problem을 해결해야 하며, 이를 정확히 측정할 벤치마크가 필수적이다.
• Approach: PopMedQA라는 벤치마크를 설계해 10-50명의 합성 환자 코호트에 대한 9가지 계산 과제(clustering, top-k, two-sample test, planted clique 등)를 제시하고, neopatient라는 자연어 기반 합성 환자 기록 생성기로 대규모 데이터를 생성한 뒤, 여러 prompting/압축/agentic 기법을 ablation하여 verbose context problem 완화 여부를 검증한다.

Achievement

1. PopMedQA 벤치마크 구축: 25,000명 이상의 합성 환자, 1,400만 개 이상의 코드화 이벤트로 구성된, 질문당 최대 400K 토큰에 달하는 population-scale 장문 컨텍스트 벤치마크를 clinician 및 population health 전문가 검증을 거쳐 구축했다.
2. decomposition resistance 설계: 질문 대부분이 개별 환자 단위 질의로 분해할 수 없도록 설계되어, 단순 chunking·aggregation 방식의 context engineering으로는 풀 수 없는 순수한 verbose-context 추론 능력을 측정하도록 했다.
3. neopatient 라이브러리 개발: 자연어 설명만으로 복잡한 임상 코호트를 커스텀 시뮬레이션 코드 없이 생성할 수 있는 새로운 합성 환자 기록 생성 도구를 제시했다.
4. 광범위한 ablation을 통한 실증적 인사이트 도출: prompting 전략, prompt compression, agentic decomposition 등 도메인 독립적 기법들이 verbose context problem을 해결하지 못함을 보이고, 임상 전문성과 장문 컨텍스트 능력이 모두 필요하며, 의료 특화 사전학습이 큰 도움이 되지 않고, agentic decomposition은 비효율적이거나 비용이 과도함을 확인했다.

How

• Task Definition: 각 과제(예: planted clique, clustering, top-k, two-sample test 등)에 대해 답안 스키마와 채점 함수, 필요한 코호트 구조를 사전 정의.
• Question Ideation: 과제별로 N을 매개변수로 하는 추상적 질문 템플릿과 코호트 설명을 생성(예: 특정 증상 조합을 보이는 하위 집합 vs 나머지 집단).
• Question Sampling: 각 아이디어에 대해 최대 크기 N_max로 코호트를 생성한 뒤 원하는 크기 N으로 서브샘플링하여 구체적 질문 생성.
• Clinician Validation: M.D. 검토자가 Realism, Difficulty, Coherence 3개 지표(1-10점)로 평가하여 모두 5점 이상인 질문만 벤치마크에 채택.
• neopatient를 통해 언어로 제어되는 방식으로 복잡한 환자 궤적을 규칙 기반 상태기계 없이 생성.
• 다양한 LLM에 대해 leaderboard 평가 수행 및 prompting 전략, prompt compression, agentic decomposition 등 여러 기법군에 대한 메타분석 형태의 ablation 수행.

Originality

• verbose context problem을 구조화된 개념의 텍스트 표현 비효율성이라는 관점에서 명확히 정식화하고, 이를 기존 "hay in haystack"류 long-context 벤치마크와 구별되는 별도의 축으로 분리해 낸 개념적 기여.
• 개별 환자 질의로 분해 불가능한 population-scale multi-hop 과제(clustering, planted clique, two-sample test 등)를 설계하여 decomposition resistance라는 벤치마크 설계 원칙을 제시.
• 질문과 정답 데이터를 독립적으로 생성하지 않고 공동 생성(joint generation)함으로써 매우 긴 컨텍스트에서도 정답의 정확성을 보장하는 파이프라인 설계.
• neopatient라는, 자연어만으로 임상 코호트를 제어·생성하는 새로운 패러다임의 합성 데이터 생성기를 rule-based generator(Synthea)의 대안으로 제시.

Limitation & Further Study

• 벤치마크가 합성(synthetic) 환자 데이터에 기반하므로 실제 EHR 데이터의 잡음, 결측, 임상 기록의 비정형성 등을 완전히 재현하지 못할 가능성이 있다.
• neopatient가 LLM 기반 생성기이므로 생성 과정 자체의 편향이나 비현실적 패턴이 벤치마크 라벨에 은연중 포함될 위험이 있으며, 이에 대한 심층적 검증이 제한적으로 보고됨.
• 논문 발췌 부분에서는 실제 실험 결과(정량적 성능 수치)에 대한 상세 분석이 충분히 제시되지 않아, 어떤 도메인 특화 구조를 활용해야 하는지에 대한 구체적 해법 제시는 부족하다.
• 후속 연구로 도메인 특화 압축·표현 기법(예: 코드 임베딩 직접 활용, 계층적 요약 등)을 통한 verbose context problem 해결 방안을 탐구할 필요가 있다.

Evaluation

총평: 구조화된 의료 개념의 텍스트 표현 비효율성이라는 실질적이고 저평가된 문제를 명확히 정식화하고, 이를 검증 가능한 벤치마크와 생성 도구로 구체화한 견실한 워크숍 논문으로, population-scale 의료 LLM 추론 연구에 유용한 도구와 인사이트를 제공한다.