Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning

Motivation

• Known: 기존 medical VLM(LLaVA-Med, HuatuoGPT-Vision, Lingshu 등)은 dense하고 균일한 visual token 표현 위에서 reasoning을 수행하며, RL 기반 medical VLM 연구(Med-R1, MedVLM-R1, MedGround-R1, ViTAR 등)는 reward 설계를 통해 reasoning이나 region focus 능력 중 하나만을 단일 RL branch로 강화해왔다. 또한 TopV, SparseVLM, LLaVA-PruMerge 등 VTP 기법들은 attention score나 유사도 기반 heuristic으로 토큰을 선택·병합하지만 end-to-end 학습 없이 독립적으로 동작한다.
• Gap: Grounding 영역 밖 토큰을 pruning하면 medical reasoning이 향상된다는 것을 확인했지만, 이는 추론 시점(inference time)의 heuristic pruning에 의존할 뿐 모델 내부에 내재화되지 않았으며, active VTP와 medical multimodal reasoning을 하나로 묶는 통합 RL 프레임워크는 아직 확립되지 않았다.
• Why: 시각적 근거가 극히 sparse한 의료 영상에서 불필요한 토큰으로 인한 distracting pattern을 제거하면서도 reasoning 정확도와 추론 속도를 동시에 개선할 수 있다면, 임상 적용 가능한 효율적이고 신뢰도 높은 medical VLM 구축에 중요한 기여를 할 수 있다.
• Approach: 하나의 policy model에 localization branch와 token-sparse reasoning branch를 결합한 dual-stream RL 프레임워크(ViToS)를 제안하고, 두 branch 간 결합된 policy learning 문제를 cross-feedback sequential optimization으로 해결하여 gradient conflict를 피하고 수렴을 촉진한다.

Achievement

Figure 2. Impact of grounding-aware VTP and image cropping on

1. 성능 향상: 7개 medical benchmark에서 시각 토큰을 원본 길이의 77%로 줄이면서도 Lingshu-7B 기준 108.27%, HuatuoGPT-Vision-7B 기준 104.16%의 relative performance를 달성했다.
2. 효율성 개선: vLLM engine을 활용해 강력한 VTP 방법들 대비 성능 향상뿐 아니라 추론 속도(inference speedup)까지 확보했다.
3. Trainable grounding-aware VTP 구현: VTP를 heuristic한 토큰 감소가 아니라 policy-guided evidence selection 과정으로 재정의하여 RL로 학습 가능하게 만들었다.

How

Figure 3. Overview of the proposed dual-stream RL framework with a unified policy model. The localization branch (top) i

• 사전 실험을 통해 grounding-aware VTP(grounded token 선택 및 유사도 기반 token fusion)가 traditional image cropping 대비 medical VQA 성능을 안정적으로 향상시킴을 확인(Lingshu-7B 기준 평균 4.1% 향상)
• 하나의 policy model πθ에 두 개의 cascaded branch를 구성: (1) localization branch는 spatial grounding(bounding box)을 생성하여 VTP에 사용, (2) token-sparse reasoning branch는 grounding-aware VTP를 적용한 뒤 남은 토큰으로 reasoning을 수행
• 각 branch에 대해 GRPO 기반 rollout(O, O')을 생성하고 format/accuracy/IoU reward를 산출
• 두 branch가 서로의 rollout에 대한 reward를 교환하는 cross-feedback sequential optimization을 도입해 coupled policy learning 문제를 완화, gradient conflict 방지 및 shared policy model의 수렴 촉진
• 7개 medical benchmark 및 Lingshu-7B, HuatuoGPT-Vision-7B 두 backbone에서 평가하고 기존 VTP 방법(SparseVLM 등)과 비교

Originality

• VTP를 heuristic한 attention/유사도 기반 토큰 축소가 아니라 policy-guided evidence selection 과정으로 재정의하여 RL로 학습 가능하게 만든 최초의 시도로 제시됨
• Grounding(localization)과 token-sparse reasoning을 하나의 공유 policy model에서 두 개의 cascaded branch로 결합한 dual-stream RL 구조 설계
• 두 branch 간 결합된 policy learning에서 발생하는 gradient conflict 문제를 cross-feedback sequential optimization이라는 새로운 최적화 스킴으로 해결

Limitation & Further Study

• Cross-feedback sequential optimization의 이론적 수렴 보장이나 gradient conflict 해소 메커니즘에 대한 심층적 분석이 본문 발췌에서 충분히 제시되지 않아 이론적 정당성 검증이 추가로 필요함
• 평가가 7개 medical benchmark와 두 개의 backbone(Lingshu-7B, HuatuoGPT-Vision-7B)에 한정되어, 다양한 영상 modality(예: 병리, 초음파 등) 및 더 큰 모델 규모로의 일반화 검증이 요구됨
• Localization branch가 잘못된 grounding을 생성할 경우 reasoning branch 전체 성능 저하로 이어질 위험이 있어, grounding 오류에 대한 강건성(robustness) 분석이 부족함
• 향후 연구로는 3D 의료영상이나 multi-image 시나리오, 그리고 더 다양한 도메인(비의료)으로의 확장 가능성 검토가 필요함

Evaluation

총평: Medical VLM에서 sparse한 시각적 근거 문제를 정면으로 다루며 VTP와 reasoning을 통합한 RL 프레임워크를 제안하고 실질적인 성능·효율성 향상을 보여준 견실한 연구로, 의료 멀티모달 추론의 효율적 패러다임 제시라는 점에서 의미가 크다.