Med-Scout: Curing MLLMs' Geometric Blindness in Medical Perception via Geometry-Aware RL Post-Training

Motivation

• Known: 기존 MLLM은 SFT와 RL을 통해 의미론적 정렬(semantic alignment)에 최적화되어 임상적으로 그럴듯한 텍스트를 생성하는 데는 뛰어나며, 일반 도메인 및 의료 도메인 특화 MLLM 모두 방사선 영상에 대한 강력한 zero-shot 적응력과 유창한 진단 서술 능력을 보여왔다.
• Gap: 그러나 이러한 학습 패러다임은 기하학적 제약 위반을 명시적으로 벌점화하는 메커니즘이 없어, 모델이 스케일 간 병변 일관성, 회전에 따른 해부학적 위치 갱신, 픽셀 수준의 구조적 불연속(이상) 탐지와 같은 객관적 기하 정보에 출력을 근거화하지 못하는 "geometric blindness"가 존재하며, 이를 정량화할 벤치마크와 값비싼 전문가 주석 없이 이를 교정할 학습 프레임워크가 부재하다.
• Why: 기하학적 접지(grounding) 실패는 그럴듯하지만 사실과 다른 hallucination을 유발해 임상 AI 시스템의 신뢰성과 안전성을 심각하게 저해하므로, 이를 진단하고 교정하는 것은 의료 MLLM의 실제 배포 가능성에 핵심적이다.
• Approach: Med-Scout은 라벨 없는 의료 영상에 내재된 기하학적 논리를 세 가지 검증 가능한 proxy task(Hierarchical Scale Localization, Topological Jigsaw Reconstruction, Anomaly Consistency Detection)로 변환하고, GRPO 기반 RL에 Dense Geometric Reward(DGR)를 결합해 MLLM의 기하 인지를 능동적으로 교정하는 데이터 중심 post-training 프레임워크이다.

Achievement

Figure 3. Performance comparison on Med-Scout-Bench.

1. Geometric Blindness 규명: Qwen3-VL-8B-Instruct와 Lingshu-7B에 대한 파일럿 스터디를 통해 스케일 간 불일치(Local 80.5%→Global 20.5% 수준 저하), 회전 후 위치 서술 오류(Right Location Rate 18~20.5%), cut-paste 인공 이상 미탐지(Modification Reporting Rate 8.5~9%) 등 세 가지 구체적 실패 양상을 정량적으로 입증했다.
2. Med-Scout 프레임워크 제안: 세 가지 기하 proxy task와 Dense Geometric Reward를 GRPO에 통합하여 라벨 없는 이미지만으로 기하학적 지도(supervision)를 생성하는 RL post-training 기법을 개발했다.
3. Med-Scout-Bench 구축: 10만 개 이상의 기하학적으로 변형(perturbed)된 샘플을 구축하고 이 중 균형 잡힌 10% subset으로 geometric blindness를 정량 평가하는 새로운 벤치마크를 공개했다.
4. 성능 향상 입증: 제안 벤치마크에서 최고 성능의 독점·오픈소스 MLLM 대비 40% 이상의 성능 향상을 달성했고, 이러한 기하 인지 향상이 방사선 및 종합 의료 VQA, 리포트 생성 과제로 일반화됨을 확인했다.

How

Figure 2. Overview of the Med-Scout Framework. We transform unlabeled medical images into three proxy tasks to cure geom

• Qwen3-VL-8B-Instruct, Lingshu-7B를 대상으로 3가지 파일럿 실험(local-to-global 재인식, 180도 회전 후 위치 서술, cut-paste 이상 탐지)을 설계해 geometric blindness를 실증적으로 확인
• 의료 영상을 라벨 없이 기하학적으로 변형하여 (1) Hierarchical Scale Localization: 임상의 "확대(zoom-in)" 진단 과정을 절대 공간 앵커링(spatial anchoring) task로 정식화, (2) Topological Jigsaw Reconstruction: 해부학적 위상 추론을 그리드 직소 퍼즐 복원 task로 변환, (3) Anomaly Consistency Detection: 세밀한 비교 검증을 "spot-the-difference" 형태의 이상 탐지 task로 구성
• 세 proxy task에 대해 GRPO 프레임워크 내에서 Dense Geometric Reward(DGR)를 설계해 sparse binary reward 대신 조밀한 보상 신호로 안정적이고 균형 잡힌 수렴을 유도
• 10만 개 이상의 기하학적 변형 샘플 데이터셋을 구축하고 균형 잡힌 10% subset을 추출해 Med-Scout-Bench 벤치마크를 구성
• 대표적인 general-domain 및 medical-domain MLLM에 Med-Scout을 적용해 Med-Scout-Bench, 방사선 VQA, 종합 의료 VQA(Lau et al., 2018; Liu et al., 2021 등), 리포트 생성(Demner-Fushman et al., 2015; Johnson et al., 2019) task에서 성능을 평가

Originality

• 의료 MLLM 연구에서 다루어지지 않았던 "geometric blindness"라는 새로운 실패 유형을 체계적 파일럿 스터디로 처음 규명하고 정량화한 점
• 값비싼 전문가 주석 없이 라벨 없는 의료 영상 자체의 내재적 기하 구조(스케일, 위상, 이상)만으로 검증 가능한(verifiable) RL 보상 신호를 생성하는 self-supervised proxy task 설계
• 기존 Jigsaw-R1, Visual Jigsaw, Euclid, GeoPQA 등 일반 도메인 기하 proxy task 및 sparse binary reward 기반 접근을 넘어, 임상 판독 과정(zoom-in, 해부학적 위상 추론, 이상 비교)에서 착안한 세 가지 task를 결합하고 Dense Geometric Reward를 도입해 다중 task 간 균형 잡힌 수렴을 달성한 점
• geometric blindness 평가를 위한 전용 벤치마크(Med-Scout-Bench)를 새로 제안해 평가 공백을 메운 점

Limitation & Further Study

• 발췌된 본문에서 DGR의 구체적 수식 및 세 proxy task의 손실/보상 설계 세부 사항, 데이터 변형(perturbation) 생성 알고리즘의 구체성이 충분히 제시되지 않아 재현성 검증에 한계가 있음
• 파일럿 스터디가 두 모델(Qwen3-VL-8B-Instruct, Lingshu-7B)에 한정되어 있어 geometric blindness가 더 넓은 범위의 MLLM 아키텍처나 다양한 영상 모달리티(CT, MRI 등)에 얼마나 일반적으로 나타나는지 추가 검증이 필요함
• proxy task 기반 self-supervised 보상이 실제 임상적으로 중요한 미세 병변이나 희귀 케이스의 기하학적 이상까지 포괄하는지에 대한 임상적 타당성 검증이 후속 연구로 필요함
• 벤치마크 구축 시 데이터의 진단적 실제성(realism)과 임상 전문가 검증 절차에 대한 상세 기술이 부족해 벤치마크의 임상적 신뢰도 확립이 추가로 요구됨

Evaluation

총평: 의료 MLLM의 잘 알려지지 않았던 실패 양상인 geometric blindness를 명확한 파일럿 실험으로 규명하고, 라벨 없는 데이터만으로 이를 교정하는 실용적 RL 프레임워크와 전용 벤치마크를 함께 제시한 완성도 높은 연구로, 의료 AI의 신뢰성 향상에 실질적으로 기여할 잠재력이 크다.