No Data? No Problem: Robust Vision-Tabular Learning with Missing Values

Motivation

• Known: MMCL, TGV와 같은 기존 방법은 pretraining에는 image-tabular 양쪽을 사용하지만 downstream inference에서는 image-only만 사용해 tabular 정보를 버리며, TIP과 같은 방법은 pretraining과 inference 모두 image-tabular를 사용하지만 tabular가 완전히 없는 극단적 상황은 검증되지 않았다.
• Gap: 기존 vision-tabular 방법들은 image-only 또는 joint image-tabular inference 중 한 시나리오에만 특화되어 있어, 실제 임상 환경처럼 피험자마다 tabular 속성이 완전하거나 부분적이거나 전혀 없는 경우를 아우르는 일관된 성능을 보장하지 못하며, 특히 tabular 데이터 비율이 30% 미만인 경우 오히려 image-only 모델보다 성능이 저하되는 문제가 있다.
• Why: 대규모 의료 biobank는 풍부한 tabular 정보를 제공하지만 실세계 배포 환경에서는 그만큼의 속성을 수집하기 어려우므로, 0%에서 100%까지 임의의 tabular 완전성 수준에서도 안정적으로 작동하는 vision-tabular foundation model급 방법론이 임상 적용 가능성을 크게 높인다.
• Approach: RoVTL은 contrastive pretraining 단계에서 tabular attribute missingness를 데이터 증강으로 도입하여 인코더의 결측 강건성을 학습시키고, downstream task tuning 단계에서는 이용 가능한 tabular 양에 따라 성능을 순위화하는 TabMoFe loss와 gated cross-attention fusion 모듈을 결합해 모든 tabular 완전성 시나리오에서 일관된 성능을 달성한다.

Achievement

1. 전 구간 강건성 달성: RoVTL은 tabular 데이터 가용성이 0%에서 100%까지 변화하는 모든 시나리오에서 image-only 모델과 기존 멀티모달 baseline(MMCL, TGV, TIP)을 일관되게 능가하며, 특히 tabular 데이터가 30% 미만으로 적을 때 가장 큰 개선폭을 보인다.
2. UK Biobank 심장 MRI 검증: cardiovascular artery disease(CAD) 분류와 BMI 회귀라는 도전적 과제에서 다양한 tabular 완전성 수준에 대해 우수한 강건성을 입증했다.
3. 외부 데이터셋 일반화: 공개 외부 심장 MRI 데이터셋(Campello et al., 2021)에서 tabular 속성 가용성이 제한된 상황에서도 사전학습된 인코더가 성공적으로 전이됨을 보여, foundation model로서의 가능성을 제시했다.
4. 자연 이미지 도메인 확장: 자동차 광고 데이터셋(Huang et al., 2022)에 프레임워크를 적용해 의료 영상 외 자연 vision-tabular 설정에서도 아키텍처가 일반화됨을 입증했다.

How

• Contrastive Pretraining: vision encoder와 tabular encoder(TARTE 기반)를 CLIP 스타일의 contrastive loss로 공동 학습하되, tabular attribute를 무작위로 드롭하는 missingness augmentation을 도입하여 결측 입력에 대한 강건성을 사전에 학습시킴.
• Downstream Task Tuning: 동일 샘플에 대해 서로 다른 개수의 tabular 속성을 가진 두 서브셋을 입력으로 사용하고, 이를 이용 가능한 tabular 양에 따라 성능을 순위 매기는 TabMoFe(Tabular More vs. Fewer) loss를 적용.
• Gated Cross-Attention Fusion: self-attention, cross-attention, feed-forward로 구성된 fusion 모듈에 gate 메커니즘을 추가하여 tabular 데이터가 이미지 임베딩에 미치는 영향을 적응적으로 조절.
• 추가로 DGL(Wei et al., 2025)을 fine-tuning 파이프라인에 통합하여 성능을 보강함.
• UK Biobank의 심장 MRI와 임상 tabular 데이터, 외부 공개 심장 MRI 데이터셋, 자동차 광고 데이터셋에서 분류 및 회귀 과제로 검증.

Originality

• tabular 데이터 가용성 0%부터 100%까지 전 스펙트럼을 명시적으로 다루는 최초의 vision-tabular 방법론이라는 점에서 문제 설정 자체가 새로움.
• pretraining 단계의 missingness augmentation과 downstream tuning 단계의 TabMoFe loss를 결합해 두 단계 모두에서 결측 강건성을 강화하는 이중 전략이 독창적임.
• 이용 가능한 tabular 속성 개수에 따라 성능을 순위화하는 ranking 기반 loss(TabMoFe)라는 아이디어가 새로우며, gated cross-attention을 통해 tabular 정보의 기여도를 적응적으로 조절하는 fusion 설계도 참신함.
• 의료 영상 도메인을 넘어 자연 이미지(자동차 광고) 도메인까지 프레임워크의 아키텍처적 일반화를 시연한 점도 독창적 기여로 볼 수 있음.

Limitation & Further Study

• 평가가 주로 UK Biobank 기반 심장 MRI와 제한된 외부 데이터셋(및 자동차 광고 데이터셋)에 국한되어 있어, 더 다양한 의료 영상 모달리티나 질환군에 대한 일반화 가능성은 추가 검증이 필요함.
• TabMoFe loss의 순위화 방식이 tabular 속성 개수와 성능 간의 단조적 관계를 가정하는데, 실제로는 특정 속성의 중요도가 개수보다 더 큰 영향을 미칠 수 있어 이러한 가정의 강건성에 대한 분석이 부족함.
• tabular encoder로 TARTE를 채택했는데, 이 사전학습된 tabular foundation model의 선택이 결과에 미치는 영향이나 다른 tabular encoder와의 비교 실험이 제한적으로 보임.
• 후속 연구로는 더 다양한 도메인과 모달리티(예: 병리 이미지, 다른 생체 신호)로의 확장, 그리고 결측이 무작위가 아닌 구조적(non-random) 패턴일 때의 강건성 검증이 필요함.

Evaluation

총평: 실제 임상 배포 상황에서 흔히 발생하는 tabular 데이터 결측 문제를 pretraining과 fine-tuning 양 단계에서 체계적으로 다룬 실용적이고 완성도 높은 연구로, 의료 영상뿐 아니라 자연 이미지 도메인으로의 확장 가능성까지 보여주어 멀티모달 강건성 연구에 의미 있는 기여를 한다.