INFER: A Multi-Agent Framework for Detecting Fraud, Waste, and Abuse in Medicare Claims

Motivation

• Known: 기존 Medicare FWA 탐지는 rule-based edit 시스템(NCCI edits), 단일 모델 기반 통계/ML classifier, 그리고 가드레일 없는 general-purpose LLM의 세 가지 방법론에 의존해왔으며, CERT 프로그램 등을 통한 post-payment review와 사전 규칙 기반 심사가 표준적으로 사용되고 있다.
• Gap: 기존 접근법들은 (S1) 높은 false-positive율과 조사관 부담, (S2) network-level 공모형 사기(kickback, 텔레마케팅 조직 등) 탐지 불가, (S3) 가드레일 없는 LLM의 confabulation 및 데이터 유출 위험이라는 세 가지 구조적 한계를 가지고 있으며, 특히 multi-agent 아키텍처를 활용한 연구는 부재했다.
• Why: Medicare FWA로 인한 연간 손실이 $100B~$300B에 달하지만 현재 탐지 시스템은 그 일부만 회수하고 있어, false positive를 줄이면서도 network-level 공모 사기와 AI 생성 허위 문서까지 탐지할 수 있는 실용적 시스템의 필요성이 크다.
• Approach: Finder(신호 생성), Critique(적대적 검증), Judge(신뢰도 기반 판정)의 세 에이전트가 사법 절차의 생성-반박-판결 과정을 모사하도록 설계된 multi-agent 플랫폼 INFER를 제시하고, 임상 전문가와 공동 설계한 34개 FWA 시나리오 taxonomy에 기반해 CMS Chili Cook-Off Challenge 데이터셋에서 이를 평가하였다.

Achievement

1. 높은 precision 달성: 임상 전문가(간호사, 의사)가 검토한 high-confidence 케이스에서 0.98의 precision을 달성함.
2. False positive 대폭 감소: multi-agent 설계로 인해 약 55%의 false positive 감소 효과를 입증함.
3. 9개 완전 실행 파이프라인 구축: 34개 시나리오 중 9개에 대해 DME, Hospice, Part B 데이터에 걸쳐 실제 탐지 파이프라인을 완전히 실행함.
4. 임상 전문가 공동 설계 taxonomy 제시: 등록 간호사, 의사, SIU 조사관과 함께 34개 FWA 탐지 시나리오를 micro(수급자)/meso(공급자)/macro(네트워크) 수준으로 체계화함.
5. 컴포넌트별 기여도 정량화: DME phantom billing 시나리오에 대한 ablation 분석을 통해 Finder 단독(precision 0.72) → Critique 추가(0.94) → Judge 추가(0.98)로 이어지는 단계별 precision 향상을 정량적으로 제시함.

How

• Finder agent: transformer 기반 아키텍처(문서 분석)와 gradient-boosted trees(XGBoost 계열, 정형 청구 특징) 등 시나리오 특성에 따라 알고리즘을 선택하는 방식으로 동작하며, physician-supplier-beneficiary 네트워크에 대한 graph-based anomaly detection(예: bipartite network + Isolation Forest)을 포함해 micro/meso/macro 수준의 후보 신호를 생성.
• Critique agent: Finder가 탐지한 각 케이스에 대해 반박 가설(counter-hypothesis)을 생성하여 적대적으로 검증하며, precision-recall 임계값을 조정 가능하도록 설계되어 본 분석에서는 precision을 최적화함.
• Judge agent: Finder의 증거와 Critique의 분석을 종합하여 명시적 confidence calibration과 함께 최종 판정을 내리고, high/moderate/grey-area confidence로 계층화하며 추적 가능한 reasoning chain을 제공.
• 평가는 CMS 5% LDS(DME 3.6M claims, Hospice 254K claims, Part B 42.8M claim lines, 2022–2024)를 대상으로 수행되었으며, ground truth 라벨 부재로 recall 대신 임상 전문가의 수동 검토를 통한 precision 측정과 ablation 분석으로 각 에이전트의 기여도를 평가.

Originality

• 단일 모델 classifier 중심의 기존 연구와 달리 생성-비판-판결의 3단계 adversarial multi-agent 아키텍처를 Medicare FWA 탐지에 최초로 적용.
• graph-based network 분석을 claim-level이 아닌 physician-supplier-beneficiary 관계 수준에서 통합하여 기존 방법이 탐지 불가능한 공모형 사기(kickback 등)를 포착.
• LLM 기반 허위 문서(confabulation, AI-fabricated documentation) 탐지를 실제 배포된 FWA 시스템에 최초로 통합했다고 주장.
• 임상 전문가(간호사, 의사, SIU 조사관)와의 공동 설계를 통한 34개 시나리오 taxonomy 구축이라는 도메인 특화 기여.

Limitation & Further Study

• LDS 데이터에 labelled ground truth가 없어 recall을 공식적으로 측정할 수 없다는 근본적 한계가 있으며, precision 위주 평가만으로는 시스템의 실제 탐지 커버리지를 판단하기 어려움.
• 34개 시나리오 중 9개만 완전히 실행되어 전체 taxonomy에 대한 체계적 검증이 이루어지지 않음.
• ablation 분석이 단일 시나리오(DME phantom billing)에 한정되어 다른 시나리오에서도 유사한 컴포넌트 기여도가 나타나는지 일반화하기 어려움.
• 후속 연구로는 labelled dataset 확보를 통한 recall 측정, 더 많은 시나리오에 대한 ablation 확장, 그리고 타 도메인(금융 사기, 보험 청구 등)으로의 일반화 검증이 필요함.

Evaluation

총평: 실무적으로 의미 있는 문제(Medicare FWA)에 대해 임상 전문가와 공동 설계한 multi-agent 아키텍처를 실제 대규모 데이터셋에 적용하여 높은 precision을 보였다는 점에서 응용적 가치가 크지만, ground truth 부재로 인한 recall 미측정과 제한된 ablation 범위로 기술적 엄밀성 검증에는 아쉬움이 남는다.