VT-Bench: A Unified Benchmark for Visual-Tabular Multi-Modal Learning

Motivation

• Known: visual-text 기반 multi-modal foundation model은 큰 성공을 거두었고, 의료·산업 등 high-stakes 도메인에서 이미지와 tabular 데이터를 결합하는 vision-tabular learning 연구도 late-fusion(Concat, Max, MUL)부터 DAFT, CHARMS, MMCL, TIP 같은 보다 상호작용적인 fusion 기법까지 발전해왔다.
• Gap: 기존 discriminative 벤치마크(RadFusion 등)는 좁은 하위 분야에 국한되어 일반성이 떨어지고, generative reasoning 벤치마크는 테이블을 이미지로 렌더링(TableVQA-Bench, MTabVQA)하거나 이미지를 테이블 셀에 삽입(MMTabQA, MMT-Bench)하는 방식으로 실제 vision-tabular 간 modality 통합과 구조 인식·수치 추론 능력을 제대로 평가하지 못한다.
• Why: 의료 영상+검사 수치, 산업 분석 등에서 이미지와 구조화된 테이블 데이터는 상호 보완적이고 대체 불가능한 정보를 제공하므로, 두 모달리티를 신뢰성 있게 통합하는 능력을 체계적으로 평가할 통일된 벤치마크가 모델 개발과 임상 신뢰성 확보에 필수적이다.
• Approach: VT-Bench는 discriminative prediction과 generative reasoning(table-form 및 database-form)을 통합적으로 정의하고, 8개 공개 데이터셋에 4개 신규 데이터셋을 추가하여 9개 도메인, 14개 데이터셋, 756K 샘플 규모의 벤치마크를 구축한 뒤 unimodal expert, 특화 vision-tabular 모델, 범용 VLM, tool-augmented 방법 등 23개 모델을 평가한다.

Achievement

1. 통합 벤치마크 구축: discriminative prediction과 generative reasoning을 모두 포괄하는 14개 데이터셋, 9개 도메인, 756K+ 샘플 규모의 VT-Bench를 구축하고, 임상 예측·테이블 구조 인지·제약적 수치 추론의 평가 공백을 메우기 위한 4개 신규 데이터셋을 추가했다.
2. 새로운 진단 지표 제안: 표준 6개 지표 외에 Modality Contribution Ratio(MCR)와 Modality Informativeness Ratio(MIR)라는 modality별 진단 지표를 도입해 fusion 동역학과 modality 의존도를 세밀하게 분석할 수 있게 했다.
3. 핵심 경험적 발견 도출: 기존 fusion 전략이 negative transfer를 유발하는 fusion bottleneck 문제와, VLM이 visual grounding·제약적 통계 계산·program generation에서 겪는 reasoning deficit(특히 open-source 모델의 tabular structure perception 부족)을 규명했다.

How

• discriminative prediction을 위해 image와 tabular row를 결합해 이산 라벨 또는 연속값을 예측하는 함수 f_θ(I,x)로 형식화하고, 8개 공개 데이터셋과 4개 신규 데이터셋을 포함한 데이터 구성
• generative reasoning을 table-form(f_θ(I,T,q) 혹은 추가 근거 c 포함 f_θ(I,T,q,c))과 database-form(f_θ(I,B,q), SQL 쿼리 생성 및 실행 포함)으로 세분화하여 정의
• 6개 표준 discriminative 지표와 함께 MCR, MIR이라는 modality-level 진단 지표를 새로 설계해 fusion 품질을 다각도로 측정
• unimodal expert, 특화 vision-tabular 모델, 범용 VLM, tool-augmented 방법을 포함한 23개 대표 모델을 재현 가능한 Python API 기반으로 평가

Originality

• visual-text 중심이던 multi-modal 벤치마크 흐름에서 벗어나 visual-tabular라는 상대적으로 덜 탐구된 영역을 discriminative와 generative 두 패러다임 모두에서 통합적으로 다룬 최초의 시도
• 테이블을 이미지로 렌더링하거나 이미지를 테이블 셀에 삽입하는 기존 방식과 달리, image와 structured table/database를 별도 모달리티로 유지한 채 cross-modal grounding과 구조 인식, 제약적 수치 추론을 함께 평가하는 프로토콜 설계
• modality 기여도를 정량화하는 MCR, MIR과 같은 신규 진단 지표를 도입하여 fusion dynamics를 세밀하게 해부

Limitation & Further Study

• 초록과 발췌 부분에서 4개 신규 데이터셋의 구체적 구축 방법과 품질 검증 절차가 상세히 드러나지 않아 데이터 신뢰성 검증이 추가로 필요하다.
• 9개 도메인 중 의료(medical-centric) 비중이 크다고 언급되어 있어, 산업·교통 등 비의료 도메인에 대한 대표성이 상대적으로 제한적일 수 있다.
• 평가 대상 23개 모델이 대표적이라 하나, 최신 대형 멀티모달 foundation model이나 tool-augmented 기법의 지속적 업데이트에 따라 벤치마크의 시의성 유지가 향후 과제로 남는다.
• MCR, MIR 지표의 이론적 정당성과 다른 fusion 진단 지표와의 비교 검증이 후속 연구로 필요하다.

Evaluation

총평: VT-Bench는 그동안 상대적으로 소외되었던 visual-tabular multi-modal learning 영역에서 discriminative와 generative 과제를 아우르는 최초의 통합 벤치마크를 제시하며, 새로운 진단 지표와 폭넓은 모델 평가를 통해 fusion bottleneck과 VLM의 reasoning deficit이라는 실질적 통찰을 제공하는 의미 있는 기여로 평가된다.