Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

Motivation

• Known: 기존 medical VLP는 방사선 보고서를 텍스트 supervision으로 활용해 image-text 정렬을 수행하며, 2D chest X-ray에서 시작해 최근 3D CT로 확장되었고, organ-level alignment(fVLM, ViSD-Boost) 등 fine-grained 접근이 시도되고 있다.
• Gap: 기존 3D CT VLP 방법은 ViT 기반 volumetric patchification으로 인한 계산 비용 및 해상도 손실 문제, 3D CNN 사용 시 사전학습된 cross-modal prior와의 호환성 부재 문제를 겪으며, 또한 organ-level alignment조차 동일 장기 내 서로 다른 질환들을 "abnormal"이라는 단일 라벨로 뭉뚱그려 disease-specific한 image-language 연관성을 흐리게 만든다.
• Why: 3D CT는 전신 다발성 질환 진단에 핵심적인 modality이며, 질환 수준의 fine-grained semantic alignment를 달성하면 zero-shot 진단 신뢰성과 general-purpose medical AI로의 확장성을 크게 높일 수 있어 임상적 활용 가치가 크다.
• Approach: 사전학습된 ViT의 patch embedding을 3D CNN backbone으로 대체한 CNN-ViT hybrid encoder로 효율적이면서도 cross-modal prior와 호환되는 시각 표현을 얻고, learnable query token 기반 disease-level contrastive learning과 real clinical phrase 기반 diagnosis-aware prompt를 결합하여 질환 단위 정렬과 zero-shot 추론을 개선한다.

Achievement

1. CT-RATE 및 Rad-ChestCT에서 SOTA 달성: CT-RATE에서 84.4% AUC(+5.1%), Rad-ChestCT에서 75.4% AUC(+5.4%)를 기록하여 기존 방법 대비 일관된 성능 우위를 보였다.
2. 60개 질환 benchmark에서 큰 격차 확보: Qwen3-Max로 CT-RATE를 확장한 60-disease benchmark에서 가장 강력한 baseline 대비 +9.8% AUC라는 더 큰 성능 향상을 달성해, disease-level alignment의 확장성과 세밀함을 입증했다.
3. Report generation으로의 전이 가능성 입증: 사전학습된 모델이 radiology report generation downstream task에서도 뛰어난 적응력을 보여 학습된 표현의 범용성과 임상적 활용 가능성을 확인했다.

How

Figure 1. The proposed disease-centric vision–language pretraining framework. (a) CNN–ViT hybrid encoder replaces patch

• CNN-ViT hybrid encoder: ViT의 patch embedding module을 3D CNN backbone으로 교체하고 multi-scale feature를 통합하며, 사전학습된 ViT(Dosovitskiy et al., 2021)로부터 initialize하여 global attention과 cross-modal prior 호환성을 유지하면서 3D CNN이 국소적 해부학적 세부사항을 다중 스케일에서 포착하도록 설계.
• Disease-level contrastive learning: learnable query token을 이용해 전체 report에서 질환별 특이 semantic을 동적으로 추출하고 이를 대응하는 시각 특징과 정렬하여, 동일 해부학적 영역 내 공존하는 질환들을 explicit report decomposition 없이 disentangle.
• Ground-truth label과 LLM(Qwen3-Max 등)로 추출한 disease label을 유연하게 결합해 contrastive learning을 구동, 진단적 세밀함을 유지하면서 확장 가능한 학습을 지원.
• Diagnosis-aware prompt strategy: handcrafted template 대신 real clinical phrase로 prompt를 구성하고, 학습된 disease query token을 재사용해 condition-specific semantic을 추출한 뒤 다양한 report collection에 걸쳐 집계한 global disease prototype을 통해 pre-training과 zero-shot inference 간 격차를 해소.
• 전체 프레임워크는 anatomical segmentation, organ-level semantic alignment, disease-level representation learning을 end-to-end로 공동 최적화.

Originality

• ViT의 patch embedding을 3D CNN으로 대체하면서 사전학습된 ViT의 attention 구조와 cross-modal prior를 그대로 재활용하는 hybrid encoder 설계는 기존의 순수 ViT 또는 순수 CNN 기반 3D 의료영상 인코더와 차별화된다.
• organ-level alignment(fVLM, ViSD-Boost)를 넘어, 동일 장기 내 여러 질환을 explicit report decomposition 없이 learnable query token만으로 disentangle하는 disease-level contrastive learning은 report 전체를 활용하는 새로운 fine-grained alignment 방식이다.
• handcrafted prompt template 의존을 벗어나 real clinical phrase와 학습된 disease query token 기반의 aggregated prototype으로 zero-shot inference를 강화하는 diagnosis-aware prompt strategy는 pretraining-inference gap 해소에 대한 실용적 기여이다.

Limitation & Further Study

• LLM(Qwen3-Max)으로 생성한 disease label의 정확성과 noise에 대한 민감도, 그리고 LLM 추출 라벨이 실제 임상적으로 얼마나 신뢰할 수 있는지에 대한 정량적 검증이 충분히 제시되지 않을 가능성이 있다.
• disease-level query token의 개수나 질환 범주 정의가 특정 dataset(CT-RATE 등)의 report 어휘에 의존적일 수 있어, 새로운 질환군이나 다른 의료기관의 report style에 대한 일반화 성능은 추가 검증이 필요하다.
• CNN-ViT hybrid encoder의 계산 비용 및 메모리 효율에 대한 상세한 분석이 부족하며, 대규모 임상 배포 시의 실용성(latency, throughput)에 대한 논의가 후속 연구로 필요하다.

Evaluation

총평: 3D CT VLP에서 고질적이었던 backbone 비효율성과 조악한 semantic alignment 문제를 hybrid encoder와 disease-level contrastive learning으로 동시에 해결한 실용적이고 완성도 높은 연구로, 여러 benchmark에서 확실한 성능 향상을 보여준다.