Reinforcement Learning for Tool-Calling Agents in Fast Healthcare Interoperability Resources (FHIR)

Motivation

• Known: FHIR는 임상 데이터 교환을 위한 표준으로, 환자 기록이 여러 리소스 타입 간 참조로 연결된 방향성 그래프 형태를 이루며, FHIR-AgentBench와 같은 벤치마크는 실제 MIMIC-IV 기반 FHIR 데이터를 활용해 LLM 에이전트의 multi-hop 추론 능력을 평가한다.
• Gap: 기존 prompt 기반 tool-augmented LLM 에이전트(retrieval, code execution, multi-turn planning 포함)는 잘못된 리소스를 선택하거나 traversal 제약을 위반하는 문제가 있으며, 최강 구성(o4-mini)조차 정확도가 약 50%에 그쳐 실제 FHIR 서버의 비표준적, 비일관적 스키마 구현에 취약하다.
• Why: 임상 데이터가 FHIR 표준으로 광범위하게 채택되고 있는 상황에서, 신뢰할 수 있는 자동화된 임상 질의응답 에이전트를 구축하는 것은 데이터 무결성 및 실제 병원 배포 가능성 측면에서 중요하며, 더 작고 저렴한 오픈 모델로도 높은 성능을 달성할 수 있음을 보이는 것은 실용적 가치가 크다.
• Approach: FHIR 상의 추론을 queryable structured graph 위에서의 sequential decision-making 문제로 정식화하고, multi-turn CodeAct 에이전트를 구현한 뒤 SkyRL 하네스를 이용해 execution-grounded LLM Judge 보상을 통한 강화학습(GRPO)으로 post-training한다.

Achievement

Figure 3. Answer correctness on FHIR-AgentBench (Lee et al.,

1. 정확도 대폭 향상: FHIR-AgentBench에서 o4-mini 기반 baseline의 50% 정답률을 Qwen3-8B 모델에 RL post-training을 적용해 77%까지 끌어올렸다.
2. 엔드투엔드 post-training 파이프라인 구축: 환경 구축, 하네스 구성, 모델 학습, 커스텀 평가를 포함하는 전체 파이프라인을 제시하여 재현 가능한 방법론을 제공했다.
3. 데이터 무결성 강제: RL post-training이 성능 향상뿐 아니라 traversal 제약 및 data-integrity 준수를 강화함을 보였다.
4. 소형·저비용 모델의 우수성 입증: 훨씬 작은 오픈 가중치 모델이 closed-model 기반 baseline을 능가할 수 있음을 실증했다.

How

Figure 4. Training curves for Qwen3-8B. Curves show the answer

• CodeAct 스타일 에이전트를 구현하여 act–observe–think 루프를 따르며, FHIR 서버에서 리소스를 조회하는 retrieval tool과 Python interpreter 두 가지 tool에 접근
• 하나 이상의 reasoning cycle 후 최종 solution을 도출하고, LLM Judge가 FHIR-AgentBench의 ground-truth 답변과 비교해 보상 신호 산출
• 보상과 전체 interaction trajectory를 trainer에 전달하여 GRPO를 통해 policy 업데이트
• SkyRL 프레임워크를 활용해 환경 구축(FHIR 서버 연동), 하네스 구성, 모델 학습, 평가를 아우르는 post-training 파이프라인 구현
• Qwen3-8B 모델을 대상으로 학습하며 학습 곡선 및 turn별 score를 분석하여 실패 모드 파악

Originality

• FHIR을 queryable structured graph 상의 sequential decision-making 문제로 프레이밍한 최초의 접근 중 하나로, 그래프 traversal 제약을 명시적으로 강화학습 보상에 반영
• 실제 병원 데이터 기반 FHIR-AgentBench를 활용한 실전적 RL post-training 파이프라인을 처음으로 구축
• execution-grounded LLM Judge를 보상 신호로 사용하여 임상 QA의 정답 정확성뿐 아니라 데이터 무결성 제약까지 동시에 최적화하는 방식을 제안
• 소형 오픈 모델(Qwen3-8B)이 RL post-training을 통해 대형 closed 모델(o4-mini)을 능가할 수 있음을 실증하여 비용 효율적 임상 AI 배포 가능성을 제시

Limitation & Further Study

• 벤치마크가 MIMIC-IV 기반 단일 데이터셋에 한정되어 있어 다른 병원 시스템이나 실제 다양한 FHIR 구현체에 대한 일반화 가능성이 검증되지 않음
• LLM Judge 기반 보상이 완벽하지 않을 수 있으며, judge 자체의 편향이나 오류가 정책 학습에 영향을 줄 가능성에 대한 심층 분석이 부족
• 12-turn 등 제한된 turn budget 내에서의 성능만 보고되어 있어 더 복잡한 multi-hop 질의에 대한 확장성 검증이 필요
• 실제 임상 배포 시의 안전성, 신뢰성, 그리고 규제 준수 측면에 대한 논의가 상대적으로 부족하며 후속 연구에서 실제 병원 환경 적용 및 장기적 robustness 검증이 필요

Evaluation

총평: FHIR 기반 임상 QA를 그래프 상의 sequential decision-making 문제로 재정의하고 RL post-training을 통해 소형 오픈 모델로 큰 성능 향상을 이끌어낸 실용적이고 의미 있는 연구로, 임상 AI 에이전트 개발에 중요한 참고 자료가 될 것이다.