MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models

Motivation

• Known: 기존 Med-LVLM들은 CLIP 기반 patch-level visual feature를 사용해 visual-language comprehension에서 좋은 성능을 보였고, MedPLIB, VividMed 등은 LISA 스타일로 special token([SEG])을 통해 segmentation 모듈을 결합해 visual grounding을 구현해왔다.
• Gap: 기존 방법들은 (1) CLIP encoder의 patch-level feature만 사용해 lesion boundary, organ contour 같은 fine-grained spatial detail을 잃어버리고, (2) 단일 special token만으로 segmentation region을 표현해 다양한 anatomical/pathological 구조를 구분하지 못하는 한계가 있어, visual comprehension과 pixel-level segmentation을 진정으로 통합하지 못한다.
• Why: 진단적 추론이 실제 시각적 근거(병변 위치, 해부학적 구조)와 정합되어야 임상적으로 신뢰 가능한 Med-LVLM을 만들 수 있으므로, comprehension과 segmentation을 하나의 end-to-end 프레임워크로 통합하는 것은 clinically grounded reasoning을 위한 핵심 과제이다.
• Approach: MedSIGHT는 learnable region query 기반의 Region Perceiver로 patch-level feature에서 region-centric token을 추출해 LLM representation space에 주입하고, 이를 modality-aware region codebook을 통해 discrete region code로 변환하여 LLM vocabulary에 편입시킴으로써 텍스트 생성과 동시에 segmentation mask를 디코딩할 수 있는 end-to-end grounded generative framework를 구성한다.

Achievement

Figure 1.

1. Region Perceiver 모듈: dual cross-attention과 progressive upsampling을 통해 patch-level CLIP feature와 다중 스케일 정보를 결합, region query embedding을 생성하여 fine-grained pixel-level 정보를 소수의 region token으로 압축.
2. Modality-aware Region Codebook: vector quantization으로 사전학습된 modality별 discrete region code를 LLM vocabulary에 추가하여 LLM이 다양한 anatomical/pathological 개념에 대응하는 다중 region token을 생성 가능하게 함.
3. Progressive Training Pipeline: Region Perceiver pre-training → codebook 구축 및 LLM vocabulary 통합 → grounded instruction tuning을 통한 전체 joint fine-tuning의 3단계 학습 전략으로 서로 다른 representation space 간 정렬 문제를 해결.
4. DiagSeg 벤치마크 제안: 시각적 진단 추론과 spatial grounding을 동시에 평가할 수 있는 새로운 grounded diagnostic segmentation benchmark 구축.
5. 성능: 단 72K multimodal instruction pair로 학습하여 다양한 imaging modality(CT, MRI 등)에서 comprehension과 segmentation 양쪽 모두 state-of-the-art 성능 달성.

How

Figure 2. Overall framework of the proposed method. (a) Overview of our end-to-end generative framework MEDSIGHT, which

• CLIP ViT로 이미지 I를 patch-level embedding으로 인코딩
• Region Perceiver R이 learnable region query Qr와 image feature 간 dual cross-attention 및 upsampling을 통해 region-level embedding 생성
• I와 Qr을 concatenate 후 vision-to-text projector Pv→t로 LLM embedding space에 투영해 V 생성
• Modality-aware region codebook C를 vector quantization으로 사전학습하여 LLM vocabulary에 편입
• codebook embedding C, 텍스트 token embedding T, 투영된 visual embedding V를 LLM에 함께 입력해 멀티모달 추론 수행
• LLM이 생성한 discrete region code를 text-to-vision projector Pt→v와 pretrained Region Perceiver를 통해 디코딩하여 segmentation mask 재구성
• Algorithm 1에 따른 progressive 3단계 학습(Region Perceiver 사전학습 → codebook 구축 → joint grounded instruction tuning)으로 전체 모듈을 안정적으로 정렬

Originality

• 단일 [SEG] 토큰 방식의 기존 visual grounding 접근을 넘어, modality-aware discrete codebook을 도입해 다양한 anatomical/pathological entity를 구분 가능한 다중 region token으로 표현
• CLIP patch feature의 한계를 보완하기 위해 dual cross-attention 기반 Region Perceiver를 설계, fixed-scale Q-Former류 perceiver와 차별화되는 progressive multi-scale feature refinement 적용
• Region Perceiver, codebook, LLM 간 이질적 representation space를 정렬하는 progressive training pipeline을 새롭게 제안
• 진단 추론과 spatial grounding을 동시에 평가하는 새로운 DiagSeg 벤치마크 제시

Limitation & Further Study

• 72K instruction pair라는 비교적 적은 데이터로 학습되어 다양한 rare disease나 unseen modality에 대한 일반화 가능성 검증이 제한적일 수 있음
• Modality-aware codebook이 사전에 정의된 modality 종류에 의존하므로 새로운 modality나 unseen anatomical structure에 대한 확장성에 대한 논의가 부족
• Progressive training pipeline의 각 단계별 안정성 및 오차 누적 가능성에 대한 심층 분석이 필요하며, codebook 크기(K×M)와 성능 간의 trade-off에 대한 추가 ablation이 요구됨
• 후속 연구로 더 다양한 modality 및 3D 영상(volumetric imaging)에 대한 확장, 그리고 임상 실사용 환경에서의 검증이 필요

Evaluation

총평: Region Perceiver와 modality-aware codebook을 결합해 comprehension과 segmentation을 하나의 generative framework로 통합한 참신하고 실용적인 접근으로, 소규모 학습 데이터로도 state-of-the-art 성능을 보여 임상적 의미가 크지만, 확장성과 codebook 설계의 세부 분석이 더 필요하다.