MedScope: Incentivizing "Think with Videos" for Clinical Reasoning via Coarse-to-Fine Tool Calling

Motivation

• Known: 기존 multimodal LMM은 R1-style의 text-first CoT를 사용해 짧은 비디오 이해에서는 강력한 성능을 보이지만, 비디오 스트림을 정적 context로 취급하여 명시적 증거 탐색이나 반복 검증을 지원하지 않는다.
• Gap: 장시간 임상 비디오는 결정적이지만 시간적으로 희소한 단서가 수천 프레임에 걸쳐 숨겨져 있어, 수동적 샘플링이나 약하게 grounding된 검사 방식으로는 모델이 반복적으로 evidence를 찾고 검증하며 예측을 정당화하기 어렵고, 이를 학습시킬 고품질의 evidence-linked supervision 데이터와 verification 중심 평가 벤치마크도 부재하다.
• Why: 수술 로봇 및 임상 의사결정 지원과 같은 실세계 응용에서 신뢰할 수 있는 의료 AI 에이전트는 예측을 특정 시간 구간의 시각적 증거에 명시적으로 근거시켜야 하며, 이는 임상의가 전체를 훑어본 뒤 특정 구간을 재검토하는 진단 과정과 유사한 "think with videos" 능력을 요구하기 때문에 중요하다.
• Approach: MedScope는 clip-level densification과 frame-level verification을 지원하는 경량 visual toolbox를 갖춘 tool-using LMM으로, 중간 추론과 targeted tool call, retrieved observation에 대한 verification을 인터리빙하여 coarse-to-fine 방식으로 증거를 탐색하고, GA-GRPO라는 grounding-aware 강화학습으로 최적화된다.

Achievement

Figure 1. Performance comparison on full and fine-grained

1. MedScope 모델 제안: 3단계(clinical reasoning warm-up, visual CoT cold-start SFT, GA-GRPO 강화학습) 파이프라인을 통해 doctor-like coarse-to-fine 검증 행동을 이끌어내는 tool-using clinical video reasoning model을 구축했다.
2. ClinVideoSuite 데이터 스위트 구축: ClinVideo-QA-254K, ClinVideo-VCoT-34K, caption/CoT 서브셋 및 traceable evidence를 갖춘 fine-grained 벤치마크 ClinVideo-Eval을 포함하는 evidence-centric 대규모 데이터 자원을 구축했다.
3. GA-GRPO 제안: grounding-aligned reward와 evidence-weighted advantage를 활용하여 tool 사용을 직접 강화하고 다양한 비디오 조건에서 안정적인 학습을 가능하게 하는 agentic RL 기법을 제안했다.
4. SOTA 성능 달성: full 및 fine-grained video understanding 벤치마크(SVU-31K, ClinVideo-Eval 등)에서 in-domain 및 out-of-domain 평가 모두에서 오픈소스 모델 중 최고 성능을 달성했다.

How

Figure 3. Overview of MedScope. (a) Coarse-to-fine clinical reasoning with explicit thought and tool actions that progre

• 3단계 학습 파이프라인: (1) clinical reasoning warm-up으로 의료 semantics와 long-horizon reasoning 학습, (2) visual CoT cold-start SFT로 언제 추가 증거가 필요한지, 어떻게 native tool(crop_video 등)로 clip-level densification 및 frame-level verification을 수행할지 학습, (3) GA-GRPO를 통한 agentic RL 최적화.
• Visual toolbox: crop_video와 같은 tool call을 통해 특정 time window를 잘라내어 재검토하는 방식으로, 초기 잘못된 시간 추정을 반복적으로 수정하며 최종적으로 정확한 시각적 근거에 도달.
• GA-GRPO: Group Relative Policy Optimization을 기반으로 grounding-aware reward(시간적 정합성 반영)와 evidence-weighted advantage reweighting을 적용해 temporally aligned tool use를 유도하고 다양한 비디오 조건에서 학습 안정성을 확보.
• ClinVideoSuite 데이터 합성: 다단계 파이프라인(Figure 4)을 통해 evidence-centric QA와 tool-augmented trajectory를 대규모로 생성.

Originality

• 기존 text-first R1-style CoT의 한계를 지적하고, 임상의의 실제 검토 행태(전역 스키밍 후 국소 재검토)에서 영감을 받은 visual CoT 패러다임을 최초로 임상 비디오 도메인에 도입.
• 단순 tool 사용을 넘어, grounding-aligned reward와 evidence-weighted advantage를 결합한 GA-GRPO라는 새로운 강화학습 레시피를 제안하여 tool call의 시간적 정합성을 직접 보상.
• evidence-centric, fine-grained clinical video 데이터 스위트(ClinVideoSuite)와 traceable evidence 기반 평가 벤치마크(ClinVideo-Eval)를 구축하여 verification-driven reasoning 연구를 위한 새로운 인프라 제공.

Limitation & Further Study

• 발췌된 내용만으로는 GA-GRPO의 구체적 reward 설계와 evidence-weighted advantage 수식, ablation 결과(Figure 5)의 세부 분석이 충분히 드러나지 않아 방법론의 세부 타당성 검증이 제한적이다.
• 데이터가 특정 수술 유형(예: 백내장 수술)에 편중되어 있을 가능성이 있어, 다양한 임상 시나리오(다양한 수술 종류, 실시간 스트리밍 등)로의 일반화 가능성에 대한 추가 검증이 필요하다.
• tool call 기반의 반복적 crop_video 방식이 매우 긴 비디오나 실시간 응용에서의 계산 비용 및 latency에 미치는 영향에 대한 논의가 부족해 보이며, 향후 효율성 개선 연구가 필요할 것으로 보인다.

Evaluation

총평: 임상 비디오 이해를 위한 tool-integrated visual CoT 패러다임과 이를 뒷받침하는 대규모 데이터 자원 및 grounding-aware 강화학습 기법을 체계적으로 결합한 의미 있는 연구로, 의료 AI 에이전트의 신뢰성 있는 근거 기반 추론 발전에 기여할 잠재력이 크다.