Distilling Expert-level Planning for Real-world Diabetes Prescribing

Motivation

• Known: LLM은 exam-style medical QA와 clinical reasoning에서 강한 성능을 보이며, 최근 의료 평가는 rubric 기반, workflow-aware, agentic 설정으로 확장되고 있다 (MedAgentBench, FHIR-AgentBench 등).
• Gap: 기존 medical QA 학습/평가는 reimbursement policy, prior treatment history, patient preference 같은 실세계 처방 제약을 충분히 모델링하지 않아, 벤치마크 성능이 실제 임상 처방 가능성(clinically usable prescribing)으로 이어지지 않는다.
• Why: 당뇨병처럼 급여 기준, 접근성, modality 선호가 처방 결정에 직접 영향을 미치는 만성질환에서 임상적으로 배치 가능한(clinically deployable) 처방 에이전트를 만들려면 expert process trace 학습과 실제 처방 제약 기반 평가가 필수적임을 시사한다.
• Approach: Expert prescribing workflow(patient assessment, safety check, candidate regimen selection, reimbursement verification)를 distillation하고, guideline·reimbursement criteria·drug information·UpToDate에 대한 dynamic search를 결합한 clinical agent를 제안한다.

Achievement

1. 벤치마크 구축: 170개의 de-identified 실제 한국 EMR 환자 사례로부터 340개 테스트 인스턴스를 구성한 EMR-derived diabetes prescribing benchmark를 제안하고, clinician-aligned, reimbursement-aware rubric으로 평가함.
2. 성능 개선: Meerkat-14B에 expert planning distillation과 search-augmented RL을 적용(SFT+RL)한 결과, Total/Reimbursed Prescription task에서 baseline 대비 Exact Match, Overall 점수가 크게 향상되었으며(Figure 1 기준 평균 +5.8~+9.4점), 일부 지표에서 frontier proprietary model(GPT-5.4 등)에 근접하는 성능을 달성함.
3. 일반/바이오메디컬 baseline 대비 우위: 일반 LLM(Qwen3-14B, Gemma 등), 바이오메디컬 LLM(HuatuoGPT-o1-72B, MedResearcher-R1-32B 등) 대비 reimbursement-aware prescribing quality에서 우수한 결과를 보임.

How

• 3단계 학습 파이프라인: (1) clinical specialization을 위한 3K EMR-augmented SFT dataset, (2) expert planning-and-answer trace를 포함한 3K dataset으로 SFT with planning distillation, (3) 별도 3K synthetic dataset으로 search-augmented reinforcement learning 수행
• Expert Planning Distillation: 처방을 7단계 내부 계획(예: baseline & risk profiling, complication mapping, physical/lifestyle assessment 등)으로 표현하는 expert workflow를 정의하고, 중간 plan과 최종 answer를 함께 distill하여 "무엇을 처방할지"뿐 아니라 "어떻게 임상적 결정에 도달하는지"까지 학습시킴
• Search-Augmented RL: multi-turn tool-use rollout을 통해 search decision, query 생성, evidence 통합을 학습시키며 clinical appropriateness, reimbursement compliance, evidence groundedness, proper tool use를 포함한 multi-objective reward로 policy update 수행
• 추론 시 Clinical Agent Logic: internal 7-step planning 후 evidence gap이 있으면 search tool(guideline, drug info, insurance, UpToDate)을 호출하고 evidence integration을 거쳐 최종 prescription 생성, 필요 시 반복(loop)
• 평가: Exact Match(gold regimen과의 엄격한 일치), Insurance(급여 준수 여부, gold label 미사용), Overall(임상적으로 동등한 대안에 부분 점수 부여 및 급여 위반에 페널티를 부여하는 insurance-aware auxiliary score)의 세 가지 지표로, Qwen3.5-122B를 judge model로 사용해 평가

Originality

• 기존 medical QA/agent 벤치마크가 정답 정확도 중심인 것과 달리, 실제 EMR 환자 사례에서 급여기준(reimbursement)까지 고려한 처방 가능성(prescribability)을 평가하는 새로운 벤치마크와 rubric을 제안함
• Plan과 answer를 함께 distill하는 expert planning distillation을 통해 단순 정답 학습이 아닌 임상가의 의사결정 과정 자체를 모델링함
• Guideline, 급여기준, 약물정보, UpToDate 등 다중 소스에 대한 dynamic search를 search-augmented RL과 결합하여 실시간 근거 기반 처방을 가능하게 함
• Clinical appropriateness, reimbursement compliance, evidence groundedness, tool use를 포괄하는 multi-objective reward 설계

Limitation & Further Study

• 벤치마크가 170개 환자 사례(340 test instances)로 규모가 작아 통계적 일반화에 한계가 있으며, 한국 특정 EMR과 급여제도에 특화되어 있어 타 국가/의료제도로의 이식성(generalizability)이 제한적임
• 평가에 LLM judge(Qwen3.5-122B)를 사용하는데, judge 자체의 편향이나 신뢰도에 대한 검증(예: 임상의와의 agreement 분석)이 본문 발췌에서 명확히 제시되지 않음
• Exact Match 점수가 전반적으로 매우 낮고(대부분 한 자릿수 %) 표준편차가 매우 커서, 실제 임상 활용 가능성 및 신뢰성 측면에서 추가 검증이 필요함
• 당뇨병이라는 단일 질환에 국한된 접근으로, 다른 만성질환이나 복합질환 처방으로의 확장 가능성에 대한 논의가 부족함
• 후속 연구로 다양한 질환·의료제도로의 확장, 임상의와의 human evaluation, 실제 배포 환경에서의 prospective 검증이 필요함

Evaluation

총평: 실세계 처방 제약(급여, 이전 치료력, 환자 선호)을 반영한 최초의 EMR 기반 당뇨병 처방 벤치마크와 expert planning distillation + search-augmented RL 파이프라인을 결합한 실용적이고 시의적절한 연구로, 임상 배치 가능한 medical agent 개발에 중요한 방향을 제시하지만 벤치마크 규모와 일반화 가능성 검증이 추가로 필요하다.