Salus: Strategic Diagnostic Testing for Complex Diagnosis via Multi-Agent Reinforcement Learning

Motivation

• Known: LLM은 MedQA와 같은 단일 라운드 medical QA benchmark 및 의료 면허시험에서 높은 성능을 보이며 방대한 의학 지식과 종합적 임상 추론 능력을 갖춘 것으로 알려져 있다.
• Gap: 그러나 실제 임상 진단은 정적인 QA가 아니라 여러 라운드에 걸쳐 검사를 전략적으로 요청하고 해석하며 불확실성을 해소하는 순차적 상호작용 과정인데, 기존 연구는 이를 충분히 반영하지 못했고, LLM을 이러한 multi-round 환경에 대해 RL로 최적화할 때 reward sparsity와 reward hacking이라는 이중의 난제가 존재한다.
• Why: 복잡질환 진단에서 조기 종결(premature closure)로 인한 오진은 임상적으로 치명적일 수 있으며, LLM을 신뢰할 수 있는 clinical assistant로 활용하려면 단순 지식 회상이 아니라 전략적인 검사 요청과 종결 시점 판단 능력이 필수적이므로 이 문제를 해결하는 것은 임상 적용 가능성에 직결된다.
• Approach: 752개의 정제된 임상 기록을 활용해 진단 과정을 AI clinician과 자동화된 Diagnostic Environment 간의 순차적 상호작용으로 형식화한 CompDiag-Bench를 구축하고, 진단 추론을 세 가지 역할로 분리한 multi-agent 구조 Salus를 reasoning-aware SFT로 초기화한 뒤 LLM-as-a-Judge 기반 tiered reward로 multi-agent RL 학습을 수행한다.

Achievement

Figure 2. Top-1 diagnostic accuracy on 269 high-complexity cases from CompDiag-Bench. Salus-7B achieves SOTA performance

1. CompDiag-Bench 구축: 752개의 고품질 임상 기록(복잡 사례와 일상 사례 포함)을 활용해 다중 라운드 진단 워크플로우를 시뮬레이션하는 상호작용형 benchmark를 제시했다.
2. Salus 프레임워크 제안: 임상 추론과 전략적 제어를 분리하는 multi-agent 구조를 설계하고, LLM-as-a-Judge 기반 dense reward로 RL 학습을 수행해 premature closure를 완화했다.
3. SOTA 성능 달성: Salus-7B는 269개의 고난도 사례에서 Top-1 정확도 83.64%를 기록해 DeepSeek-V3.2(71.38%)를 능가하고 GPT-5.2(80.30%)와 대등한 성능을 보였으며, 7B backbone의 정확도를 27.9%에서 83.6%까지 끌어올렸다.

How

Figure 5. A detailed snapshot of Salus’s decision-making at step t. The model identifies AITL as the primary etiology bu

• CompDiag-Bench 설계: 진단 과정을 초기 임상 맥락(주호소, 현병력, 신체진찰 소견, 사전 검사 결과)에서 시작해 여러 라운드에 걸쳐 검사를 요청하고 결과를 해석하며 최종 진단에 도달하는 순차적 의사결정 과정으로 형식화하며, 기존 benchmark와 달리 한 라운드에 여러 검사 항목을 동시에 요청할 수 있도록 허용해 실제 임상 워크플로우를 모사한다.
• Salus의 3개 에이전트 분리: Differential Reasoner(임상 데이터 종합 및 감별진단 생성), Strategic Controller(종결 여부 판단), Workup Proposer(표적 검사 제안)로 역할을 나누어 long-horizon RL 문제를 step-wise 최적화 문제로 변환함으로써 credit assignment 문제를 완화한다.
• 학습 파이프라인: reasoning-aware SFT로 초기화한 후, LLM-as-a-Judge를 이용한 tiered reward 구조로 multi-agent RL을 수행하며, 조기 종결에는 벌점을, 정확한 감별진단에는 보상을 부여해 dense하고 의미적으로 근거 있는 피드백을 제공한다.

Originality

• 복잡질환 진단을 단순 단일 라운드 QA가 아닌, 동적 환경과의 순차적 상호작용으로 형식화한 CompDiag-Bench를 새롭게 제시했다.
• 진단 추론을 세 가지 기능적 역할(Differential Reasoner, Strategic Controller, Workup Proposer)로 분해하여 long-horizon RL 문제를 step-wise 의사결정 문제로 재구성한 multi-agent 구조적 접근이 독창적이다.
• reward sparsity와 reward hacking을 동시에 완화하기 위해 LLM-as-a-Judge 기반의 조밀하고 의미적으로 근거 있는 tiered reward 메커니즘을 설계했다.

Limitation & Further Study

• LLM-as-a-Judge를 reward로 사용하는 경우 judge 모델 자체의 편향이나 오류가 학습에 전이될 위험이 있으며, judge의 신뢰성에 대한 정량적 검증이 충분히 제시되었는지 확인이 필요하다.
• benchmark가 752개의 curated 기록에 기반하고 있어 실제 임상 환경의 다양성과 노이즈, 희귀 사례에 대한 일반화 가능성이 제한적일 수 있다.
• multi-agent 구조로 인해 추론 시 계산 비용과 지연시간이 단일 에이전트 대비 증가할 가능성이 있으며, 이에 대한 효율성 분석이 추가로 필요하다.
• 향후 연구로는 실제 임상 배포 환경에서의 human-in-the-loop 검증, 더 다양한 질환군으로의 확장, judge 모델 편향 완화 방안 등이 필요하다.

Evaluation

총평: 복잡질환 진단을 순차적 의사결정 문제로 재정의하고 이를 해결하기 위한 multi-agent RL 프레임워크를 제안한 참신하고 실용적인 연구로, 7B 규모 모델로 최상위 proprietary 모델에 필적하는 성능을 달성한 점이 인상적이다.