HealthBot: An Open-Source AI Assistant for Longitudinal Personal Health Management

Motivation

• Known: 기존 medical LLM/VLM은 clinical QA, 리포트 생성, 이미지 이해 등에서 좋은 성능을 보이지만 대부분 stateless한 model-level 시스템이며, 최근 medical agent 연구들은 multi-agent 의사결정, 임상 워크플로우 시뮬레이션, EHR/knowledge graph에 대한 tool-augmented reasoning 등을 탐구해왔다.
• Gap: 기존 personal health agent(openCHA, PHIA 등)는 특정 benchmark, workflow, modality에 국한되어 있고 이질적인 개인 건강 문서에 대한 구조화된 추출·정규화·종단적 추적을 위한 full-stack 지원이 부족하며, ChatGPT Health와 같은 상용 시스템은 closed-source, cloud-dependent하여 재현성과 프라이버시 문제가 있다.
• Why: 개인 건강 데이터는 시간에 따라 누적되고 이질적인 형식(대화, 이미지, EHR, 웨어러블)으로 발생하므로, 프라이버시를 보장하면서도 장기간에 걸친 구조화된 종단적 추론이 가능한 오픈소스 시스템이 개인 맞춤형 건강관리 AI의 실용화와 재현 가능한 연구를 위해 필수적이다.
• Approach: NanoBot 프레임워크 기반으로 다중모달 지식 추출 파이프라인, 예산 인식(budget-aware) 계층적 건강 컨텍스트(H-Context), 로컬 아카이브에 기반한 tool-augmented reasoning을 통합한 개인 건강 어시스턴트를 제안하고, Synthea와 MIMIC-IV 기반 진단 예측 벤치마크로 종단적 컨텍스트의 효과를 검증한다.

Achievement

1. HealthBot 시스템 구축: 로컬 실행·온디바이스 저장·메시징 플랫폼(Telegram, Slack, WhatsApp, Discord) 인터페이스·model-agnostic LLM 백엔드(ChatGPT, Claude, Gemini, vLLM)를 지원하는 오픈소스 개인 건강 어시스턴트를 구현함.
2. 다중모달 정규화 파이프라인: 대화, 의료 이미지, EHR 문서, 웨어러블 데이터를 reports, medications, conditions, symptoms, daily_stats 5개 도메인의 정규화된 구조적 레코드로 변환하고, entity normalization engine으로 서로 다른 소스/언어 간 동일 지표를 canonical key κ로 통일함.
3. H-Context 효과 검증: GPT-5.2와 Qwen3-8B 두 backbone에서 H-Context가 raw history 대비 진단 정확도를 향상시키면서 컨텍스트 길이를 39% 절감하고, no-history 대비 최대 +20 pp의 정확도 향상을 달성함을 실증함.
4. 오픈소스 공개: 재현 가능한 개인 건강 AI 연구를 위해 전체 코드베이스를 공개함.

How

Figure 1. Overview of HealthBot. Multimodal inputs are normalized into a structured archive (Phase 1), which a health LL

• Phase 1 (다중모달 지식 추출): Econv(대화, batch extraction으로 turn 간 속성 연결), Eimg(vision-capable LLM 단일 pass로 문서 유형 식별 및 필드 추출), Eehr(구조적 CSV/JSON 헤더 매핑, PDF는 텍스트 파서+vision fallback), Ewear(Apple Health XML 등 stream-parse 후 daily_stats로 집계)의 modality-specific parser 사용
• Entity Normalization Engine: 원본명 n, 안정적 canonical key κ, 표준 표시명 nstd의 3단계 이름 체계와 기존 key 재사용 규칙을 통한 consistency loop로 의미론적 drift 방지
• Phase 2 (Health Agent Reasoning): H-Context H={P,T,S} - Profile(안정적/활성 정보), Timeline(최근 w개월 rolling window), Summary(그 이전 이력의 압축 서술)를 concatenate하여 고정 컨텍스트 예산 Bmax 이하로 유지, 초과 시 Timeline 절단 후 tool 검색 유도
• Tool-augmented reasoning: query, update, delete, import, export, reset 6개 health-specific tool로 구조적 아카이브 K에 대한 완전한 read-write 인터페이스 제공
• 평가: Synthea, MIMIC-IV 기반 진단 예측 벤치마크에서 현재 관찰치만(current-only), raw history, H-Context 세 조건으로 GPT-5.2, Qwen3-8B에서 정확도 비교

Originality

• 상용 closed-source 시스템(ChatGPT Health)과 달리 완전히 오픈소스이며 로컬 실행·온디바이스 저장을 지원하는 개인 건강 어시스턴트를 제안한 점
• 단일 modality나 특정 benchmark에 국한되지 않고 대화·이미지·EHR·웨어러블 등 이질적 입력을 아우르는 full-stack 구조적 추출·정규화 파이프라인을 설계한 점
• Profile/Timeline/Summary 3단 계층 구조와 canonical key 기반 entity normalization을 결합한 H-Context라는 예산 인식 종단적 컨텍스트 표현을 새롭게 제안하고 진단 예측 태스크로 정량 검증한 점

Limitation & Further Study

• 진단 예측 벤치마크가 Synthea(합성 데이터)와 MIMIC-IV 일부만을 활용한 curated benchmark로, 실제 사용자 대상 종단적 상호작용 데이터에서의 검증이 부족함
• H-Context의 하이퍼파라미터(rolling window 길이 w, 예산 Bmax)가 성능에 미치는 민감도 분석이나 다양한 backbone에 대한 폭넓은 ablation이 제시되지 않음
• entity normalization의 consistency loop가 다국어·다형식 환경에서 장기간 누적 시 key 충돌이나 drift를 얼마나 견고하게 방지하는지에 대한 정량적 검증이 부족함
• 논문이 workshop 발췌본으로 실제 사용자 프라이버시/보안, 임상적 안전성(오진단 위험) 관련 논의가 제한적임
• 후속 연구로 실제 사용자 데이터 기반 longitudinal user study, 다양한 진단 도메인으로의 확장, tool 사용 정확성에 대한 평가가 필요함

Evaluation

총평: 오픈소스 개인 건강 관리 어시스턴트라는 실용적이고 시의적절한 문제를 다루며 H-Context를 통한 종단적 추론 개선을 명확히 입증했으나, 평가가 제한적인 벤치마크와 두 backbone에 국한되어 시스템의 일반화 가능성과 실제 임상 활용성에 대한 추가 검증이 필요한 workshop 수준의 시스템 논문이다.