Medsyn: Enhancing diagnostics with human-ai collaboration

Motivation

Known: 최근 LLM이 임상 의사결정 지원 도구로 활용될 가능성을 보여주고 있으며, 의료진단에서 인지적 편향과 불완전한 정보로 인한 오진 위험이 존재한다.
Gap: 기존의 정적(static) 일회성 의료 의사결정 지원 도구는 실제 임상 실무의 복잡성을 충분히 반영하지 못하며, 의사와 AI 간의 상호작용적 협력을 통한 다중 턴 대화 기반 접근이 부족하다.
Why: 시간 압박과 높은 인지 부하가 있는 실무 환경(응급실 등)에서 의사와 AI 어시스턴트의 상호작용적 논의가 진단 정확도와 치료 결정을 향상시킬 수 있다.
Approach: 의사 에이전트는 환자의 주요증상만 접근하고, 어시스턴트 LLM은 전체 임상 기록에 접근하여 반복적 질문과 협력적 추론을 통해 다중 턴 대화를 시뮬레이션한다.

오픈소스 LLM 평가: 25개의 오픈소스 모델을 조사하여 다중 턴 대화 능력을 평가한 결과, Llama3(8B, 70B)과 Gemma2(27B)가 가장 유망한 후보로 식별되었다. 대부분의 의료 도메인 특화 모델(Meditron, MedLlama2)은 실제 대화 유지에 제한이 있었다.
다중 턴 대화의 효과성: 시뮬레이션된 의사-LLM 상호작용을 통해 반복적 다중 스텝 교환이 일회성 기본 모델(baseline "phy w/complaint")에 비해 더욱 포괄적인 환자 평가와 진단 명확성을 제공함을 입증했다.
데이터셋 구축: MIMIC-IV와 MIMIC-IV-Note를 통합하여 74,850개 환자 기록(테스트셋 1,000개)으로 구성된 표준화된 의료 데이터셋을 구축하였고, 2,350개의 고유 진단명과 5.61개의 평균 ICD-10 코드를 포함한다.

프레임워크 구조: 의사가 환자의 주요증상으로 초기 평가를 요청하면, LLM 어시스턴트는 전체 임상 기록을 분석하여 상세한 평가를 제공한다. 이후 의사는 추가 정보가 필요하면 추가 질문을 하고, 충분한 정보를 수집하여 확신할 때까지 대화를 지속한다.
에이전트 설정: 기본 사례(Baseline)는 의사 에이전트가 주요증상만 접근하여 일회성 진단을 내리고, 두 에이전트 사례(Two-agent)는 의사 에이전트가 어시스턴트와 대화하며 정보를 수집한다.
기술 스택: Ollama와 Langroid를 사용한 다중 에이전트 환경 구현으로 실제 임상 상황의 대화 시뮬레이션을 수행한다.
평가 방법: Zero-shot prompting을 사용하여 LLM 의사결정 과정과 대화 추적을 정성적으로 분석하고, 의료진 검토를 통해 유효성을 검증한다.
ICD-10 코드링: 진단과 함께 임상 표준 ICD-10 코드 생성을 포함하여 실제 의료 워크플로우를 반영한다.

하이브리드 협력 모델: 기존의 단방향 AI 의료 지원 도구와 달리, 의사와 LLM이 대등한 입장에서 상호 비판적으로 검토하는 쌍방향 협력 구조를 제안한 점이 혁신적이다.
다중 턴 대화 중심: 일회성 추론이 아닌 반복적 질의응답을 통해 의료진단의 불확실성을 감소시키는 접근법이 기존 의료 AI 시스템과 차별화된다.
실제 임상 시나리오 모의: MIMIC 데이터셋을 기반으로 실제 임상 기록 구조(주요증상, 병력, 신체검사, 검사결과, ICD-10 코딩)를 완전히 반영한 현실적인 평가 환경을 구축했다.
오픈소스 모델 중심 평가: 상용 클로즈드 모델이 아닌 오픈소스 LLM의 의료 적용 가능성을 체계적으로 검증함으로써 의료기관의 배포 용이성을 고려했다.