Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

Motivation

• Known: MLLM은 자연 이미지에서 강력한 성능을 보였으나, 의료 영역에서는 주로 진단 분류, 해부학적 분할, 보고서 생성에 집중되어 있다. 기존 의료 이미징 데이터셋은 분류 레이블, 서술형 보고서, 분할 마스크를 제공하지만 정량적 공간 추론에 필요한 구조화된 3D 공간 주석이 부족하다.
• Gap: 현재 MLLM은 거리 계산, 부피 추정 등 정량적 공간 추론 능력이 체계적으로 평가되지 않았다. 또한 3D CT 스캔에 대한 구조화된 공간 VQA 데이터의 부재로 인해 공간 지능 평가 벤치마크가 존재하지 않는다.
• Why: 종양 크기 측정, 장기 부피 평가, 구조 간 거리 정량화는 수술 계획 및 치료 의사결정에 직접적으로 영향을 미치므로 의료 영상 해석에서 핵심적이다. 공간 추론 능력 강화는 수술 로봇공학과 AI 보조 진단을 위한 기초가 된다.
• Approach: 자동으로 CT 스캔에 대한 공간 VQA 데이터를 생성하는 에이전트 파이프라인을 개발하여, 부피 계산기, 거리 계산기, 바운딩 박스 추출기 등 공간 계산 도구와 다중 에이전트 협업 및 방사선 의사 검증을 활용했다. 이를 통해 SpatialMed 벤치마크(약 9.8K QA 쌍, 2,375 CT 스캔, 117개 해부학적 구조, 8개 종양 유형)를 구축했다.

Achievement

Figure 3. Benchmark Statistics. Left: Distribution of annotated

• 에이전트 파이프라인: 세 가지 공간 계산 도구, 다중 에이전트 협업, 방사선 의사 피드백을 활용하여 CT 스캔에 대한 고품질 공간 VQA 데이터를 자동으로 생성하는 파이프라인 개발
• SpatialMed 벤치마크: 9,782개 QA 쌍, 2,375개 CT 스캔, 117개 해부학적 구조, 8개 종양 유형을 포함한 첫 번째 3D CT 기반 MLLM 공간 지능 평가 벤치마크 제시
• MLLM 평가: 12개 모델이 다중 뷰 2D CT 이미지를, 2개 모델이 3D CT 스캔을 처리하는 14개 최첨단 MLLM 평가로 현재 모델들의 공간 추론 능력 한계 규명

How

Figure 2. Overview of three stages from the SpatialMed dataset pipeline. (1) Question–Answer Pair Generation, where agen

• 부피 계산기, 거리 계산기, 바운딩 박스 추출기 등 공간 계산 도구 활용
• Retrieval-Augmented Generation(RAG)을 갖춘 다중 에이전트를 이용하여 다양한 공간 VQA 쌍 생성
• 세 명의 보증된 방사선 의사에 의한 임상적 타당성 검증 및 품질 정제
• 복수 선택형 질문과 부피 추정 질문으로 구분된 6가지 공간 추론 작업 설계
• CT 스캔에서 구조화된 3D 공간 주석(정확한 3D 공간 관계, 구조 간 거리, 정량적 병변 측정) 추출

Originality

• 의료 영역에서 정량적 3D 공간 추론을 체계적으로 평가하는 첫 번째 벤치마크 제시 (기존 연구는 2D 위치 추론 또는 진단 분류에만 집중)
• 자동화된 에이전트 파이프라인을 통해 비용이 높은 전문가 수작업 없이도 고품질의 구조화된 공간 주석 데이터 생성
• VQA 형식으로 부피, 거리, 위치, 크기 등 다양한 공간 개념을 포함한 다면적 공간 추론 평가 프레임워크
• 3D 부피 데이터(CT 스캔)를 직접 처리하는 MLLM과 2D 슬라이스 기반 접근법의 성능 차이를 실증적으로 비교

Limitation & Further Study

• 현재 CT 모달리티에만 집중하므로 MRI, 초음파 등 다른 의료 이미징 모달리티로의 확장 필요
• 벤치마크 구성이 주로 종양 중심으로 설계되어 있어 일반적인 해부학적 구조 공간 추론 다양성 부족 가능성
• 방사선 의사 검증이 3명에 국한되어 있어 평가의 일관성과 신뢰성 향상을 위해 더 많은 검증자 필요
• 기존 MLLM의 공간 추론 성능 저하 원인에 대한 심층 분석(아키텍처 한계 vs. 학습 데이터 부족) 보완 필요
• 현재 모델들의 성능 격차를 좁히기 위한 공간 추론 전문화된 학습 방법론 또는 아키텍처 개선 제안 필요

Evaluation

총평: 본 논문은 의료 MLLM의 3D 공간 추론 능력을 평가하는 첫 번째 체계적 벤치마크를 제시하며, 자동화된 에이전트 파이프라인을 통해 고품질 공간 VQA 데이터 생성 문제를 해결함으로써 의료 AI의 임상적 적용에 중요한 기여를 한다.