3DMedAgent: Unified Perception-to-Understanding for 3D Medical Analysis

Motivation

• Known: 기존 3D 의료영상 분석은 segmentation/grounding 같은 task-specific 모델과, 3D vision encoder를 결합한 end-to-end 3D MLLM(RadFM, Merlin, CT-CHAT 등)으로 나뉘며, 각각 isolated task 처리 또는 one-hop output 생성에 그친다. 또한 2D 기반 MLLM은 강력한 visual-textual reasoning 능력을 보이나 volumetric 데이터를 직접 다루기 어렵다.
• Gap: 3D MLLM은 대규모 3D volume을 제한된 token으로 압축하는 과정에서 세밀한 해부학적 정보가 손실되고 shortcut pattern-matching에 의존하게 되며, 희소하고 이질적인 3D 데이터로 인해 clinical domain shift에 취약해 정확한 측정·인식과 이에 기반한 reasoning이 어렵다는 근본적 한계가 있다. 또한 기존 3D VQA benchmark들은 hierarchical QA 구조나 명시적 question-type 분류가 부족하고 복부 위주로 편중되어 흉부(thoracic) 영역 평가가 미흡하다.
• Why: 임상 진단은 정확한 perception(측정, 병변 인식)이 이후 medical reasoning(예: 종양 위험도 평가)의 근거가 되는 순차적·상호의존적 과정이므로, perception과 understanding을 통합적으로 수행하며 근거를 축적하는 범용 3D 임상 보조 시스템은 실제 임상 워크플로우 지원에 중요한 의미를 가진다.
• Approach: 3DMedAgent는 2D MLLM을 agent로 삼아 다양한 visual/textual tool을 조율하고, global-to-regional, 3D-volume-to-2D-slice, visual-evidence-to-structured-text의 세 축을 따라 복잡한 3D 분석을 순차적 subtask로 분해하며, 장기 구조화된 memory에 중간 tool 출력을 축적해 query-adaptive한 multi-step reasoning을 지원한다.

Achievement

Figure 4. Performance across source datasets in DeepTumorVQA.

1. 3DMedAgent 프레임워크: 3D-specific fine-tuning 없이 2D MLLM이 general 3D CT 분석(perception부터 understanding까지)을 수행할 수 있는 통합 agent를 제안했다.
2. evidence-centric long-term memory: 이질적 tool 출력을 압축된 텍스트 근거로 증류하여 query-conditioned하게 단서를 수집·축적, multi-step 3D reasoning을 지원하는 메모리 구조를 도입했다.
3. DeepChestVQA benchmark: 922개 CT scan, 1,020개 VQA pair, 17개 capability dimension(recognition/visual reasoning/medical reasoning)으로 구성된 흉부 CT 벤치마크를 새로 구축했다.
4. 광범위한 실험적 우위: 40개 이상의 3D 의료 태스크에서 general, medical, 3D-specific MLLM 대비 일관되게 우수한 성능을 보이며 전체 정확도 약 20% 향상을 달성했다.

How

Figure 3. 3DMedAgent workflow. The agent answers 3D CT queries by progressively gathering and reusing evidence in shared

• Organ-Aware Memory Initialization (OAMI): 장기 memory를 organ-level 정보로 초기화하여 이후 reasoning의 기반을 마련.
• Coarse-to-Fine Lesion Targeting (CFLT): global context에서 regional 병변 영역으로 점진적으로 좁혀가며 3D volume 내 병변을 targeting.
• Think-with-1-Slice Loop (T1S-Loop): on-demand로 informative한 2D slice 하나씩을 선택·분석해 evidence를 검증·갱신하는 반복 루프.
• 이 세 모듈을 통해 3D volume을 2D slice로 변환하고, tool 출력을 구조화된 텍스트 근거로 distill하여 shared memory에 누적, 최종적으로 query-adaptive한 answer를 evidence와 함께 도출.

Originality

• task-specific 모델과 end-to-end 3D MLLM으로 양분되어 있던 기존 패러다임을 벗어나, tool-augmented agent 관점에서 perception과 understanding을 분리하면서도 memory를 통해 연결하는 새로운 통합 설계를 제시.
• 3D-specific fine-tuning 없이 2D MLLM만으로 volumetric 분석을 수행하는 training-free/agentic 접근이라는 점에서 기존 3D instruction-tuning 기반 연구와 차별화.
• global-to-regional, 3D-to-2D, visual-to-textual이라는 세 축의 progressive decomposition 전략과 evidence-centric long-term memory 설계가 구조적으로 독창적.
• 흉부 영역에 특화된 hierarchical VQA benchmark(DeepChestVQA)를 제안하여 기존 복부 중심 benchmark의 공백을 보완.

Limitation & Further Study

• 발췌된 내용만으로는 tool 구성의 구체적 명세(어떤 segmentation/grounding 모델을 사용하는지), memory의 정확한 구조 및 업데이트 규칙, 그리고 실패 사례(failure case) 분석이 충분히 드러나지 않아 재현성과 실패 모드 이해에 한계가 있을 수 있다.
• agent 기반 multi-step tool 호출 구조는 inference 시 latency와 계산 비용이 클 수 있으며, 이에 대한 효율성 분석이 필요해 보인다.
• DeepChestVQA가 흉부 영역에 한정되어 있어, 다른 해부학적 부위(뇌, 근골격계 등)로의 일반화 가능성은 추가 검증이 요구된다.
• 후속 연구로는 다양한 3D tool의 자동 선택/조합 최적화, memory 압축 전략의 정보 손실 분석, 그리고 더 넓은 해부학적 범위로의 benchmark 확장이 기대된다.

Evaluation

총평: 2D MLLM을 fine-tuning 없이 3D 의료영상 perception-to-understanding 분석에 활용하는 agentic 접근과 이를 뒷받침하는 memory 설계, 그리고 새로운 흉부 벤치마크까지 포함한 완결성 있는 연구로, 3D clinical assistant 개발에 실용적 가치가 큰 기여로 평가된다.