FHIR-Hopper: A Neuro-Symbolic Agent for Reasoning over EHRs

Motivation

• Known: FHIR 표준의 확산으로 EHR의 구문적 상호운용성은 개선되었으나, LLM이 이를 직접 추론에 활용할 때는 JSON/XML 번들을 그대로 flatten하여 context window에 넣는 방식이 널리 사용되며, RAG나 ontology 기반 필터링, tabularization(예: Flowsheet/SQL on FHIR) 등의 개선 기법들이 제안되어 왔다.
• Gap: 기존 방식들은 FHIR의 구조적 보일러플레이트로 인한 context overflow와 "lost in the middle" 문제를 해결하지 못하거나, 순차 텍스트화 과정에서 다중관계적(multi-relational) directed graph 구조와 UUID 참조 관계를 파괴하며, 직접 FHIR API를 질의하는 agentic 시스템은 파라미터 hallucination과 multi-hop 오류 누적에 취약하다.
• Why: 임상 QA에서 구조를 보존하면서도 토큰 효율적으로 EHR을 표현하고, 신경망 추론과 구조 인지 검색(retrieval)을 분리하는 설계가 accuracy와 효율성을 동시에 달성할 수 있음을 보여주므로, 실제 배포 가능한 clinical LLM agent 설계에 중요한 시사점을 준다.
• Approach: FHIR 번들을 episode 노드 기반의 chronological graph로 project한 뒤, saliency-ranked하고 토큰 예산이 제한된 linearization을 LLM의 초기 컨텍스트로 제공하고, 이후 agent가 결정론적 tool(inspect_node, search_graph, follow_links, filter_time)을 호출해 그래프를 탐색하며 답을 구성한다.

Achievement

Figure 2. Pareto efficiency of retrieval strategies. Axes: accuracy vs. instances processed per 1M tokens (up/right is b

1. State-of-the-art accuracy: EHRQA, MedAgentBench, FHIR-AgentBench 세 개 benchmark 및 Claude Sonnet 4.6, Gemini 3 Flash, GPT-5 Mini 등 다수의 base LLM에서 FHIR-Hopper가 가장 높은 accuracy를 달성했다.
2. 토큰 효율성: 평균 input-token 사용량을 약 20k 토큰 수준으로 안정적으로 유지하면서, 긴 레코드에 대해 가장 강력한 retrieval baseline(Flowsheet 등) 대비 약 10배의 토큰 절감을 달성했다.
3. Pareto 지배: 복잡한 레코드를 다루는 FHIRAgentBench와 MedAgentBench에서 accuracy 대 token efficiency의 Pareto front를 FHIR-Hopper가 엄격히 지배(strictly dominate)하는 결과를 보였다.

How

Figure 1. Overview of the FHIR-Hopper architecture. The framework projects a raw FHIR bundle into an episodic chronologi

• Episodic Graph Projection: FHIR 번들을 raw directed graph G=(V,E)로 보지 않고, 시간순으로 정렬된 episode 노드 집합 E={E1,...,ET}와 episode 내/간 참조 R로 구성된 episodic chronological graph H=(E,R)로 재구성. Encounter 참조가 없는 orphan 리소스는 latent episode inference(Alg. 1)를 통해 가장 가까운 선행 Encounter에 시간 윈도우 δ 내에서 귀속시키거나 synthetic δ-snapped episode로 그룹화.
• Saliency-Budgeted Linearization (SBL): 각 리소스 v를 query q와 Gemini Embedding 1(d=3072) 기반 cosine similarity ϕ(v,q)로 점수화하고, 토큰 예산 β 하에서 활성 episode의 header cost Chead, 건너뛴 episode의 [GAP] marker cost Cgap를 고려한 조합 최적화 문제(식 1)를 정의. Ngap(S)의 비선형성 때문에 marginal saliency-per-token ρ(v|S)(식 2)를 기준으로 greedy density solution을 적용해 시간순을 유지하며 고-saliency 노드에 예산을 집중.
• Graph-Constrained Agentic Reasoning: LLM agent는 SBL 결과를 저비용의 lossy skeleton 초기 컨텍스트로 받고, inspect_node, search_graph, follow_links, filter_time 네 가지 결정론적 tool을 function-calling API로 호출하여 필요한 세부 정보를 추가로 획득. 무한루프 방지를 위해 15-step 제한을 두고 초과 시 강제로 최종 답변 합성을 유도.
• 평가: EHRQA, MedAgentBench, FHIR-AgentBench 세 benchmark에서 accuracy(LLM-as-a-judge)와 token usage(context+multi-turn tool-call 토큰 합)를 두 축으로 FHIR2Text, Ontology-guided, Prefiltered, Flowsheet(SQL on FHIR) 등 4가지 baseline과 비교.

Originality

• FHIR 번들을 flat graph가 아니라 임상 encounter 단위로 clustering한 episodic chronological graph로 재구성하여 sparsity 문제와 시간적 구조 보존을 동시에 해결한 점이 독창적이다.
• 토큰 예산 제약 하에서 saliency와 gap 압축을 결합한 greedy density 기반 linearization(SBL)을 설계하여, 극단적으로 작은 β(4000 토큰) 조건에서도 stress-test 형태로 성능을 검증한 접근이 참신하다.
• neural reasoning과 structure-aware retrieval을 명확히 분리하고, LLM에는 결정론적 symbolic tool만 노출시켜 hallucination과 multi-hop 오류 누적을 줄이는 neuro-symbolic 설계 철학을 EHR 도메인에 구체적으로 구현했다.

Limitation & Further Study

• β=4000이라는 극단적으로 작은 예산 설정이 실제 운용 시나리오보다는 stress test에 가까워, 실제 최적 β에서의 성능-효율 trade-off에 대한 추가 검증이 필요하다.
• EHRQA와 같은 짧은 레코드에서는 agent의 O(1) 고정 오버헤드(prompt/tool 사용)로 인해 오히려 효율성이 낮게 나타나는데, 이 오버헤드를 줄이기 위한 적응적(adaptive) 전략에 대한 논의가 부족하다.
• latent episode inference의 시간 윈도우 δ 설정, saliency scoring에 사용된 embedding 모델(Gemini Embedding 1)의 편향성, 그리고 LLM-as-a-judge 평가 방식의 주관성에 대한 민감도 분석이 제한적이다.
• 세 benchmark 모두 특정 임상 QA 태스크에 한정되어 있어, 더 다양한 실제 임상 워크플로우(예: 서술형 요약, 임상 의사결정 지원)로의 일반화 가능성에 대한 검증이 추가로 필요하다.

Evaluation

총평: FHIR-Hopper는 구조화된 EHR 데이터에 대한 LLM 추론의 핵심 난제(구조 손실과 context overflow)를 episodic graph 표현과 saliency 기반 예산화된 linearization, 그리고 결정론적 tool 사용으로 우아하게 해결한 실용적이고 설득력 있는 연구이다. 다만 극단적 토큰 예산 설정과 특정 benchmark에 국한된 평가는 일반화 가능성 측면에서 추가 검증이 필요하다.