ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild

Motivation

Known: 비전-언어 모델(VLM)은 일반적인 이미지 이해 작업에서 탁월하나, 차트와 같은 특화된 시각화 이해에서는 성능이 제한적이다. 기존 차트 이해 모델들은 명령어 튜닝(instruction-tuning) 기반으로 개선되고 있다.
Gap: 기존 방법들의 두 가지 심각한 문제점: (1) 차트의 기본 데이터 테이블로부터 학습 데이터를 생성하여 시각적 트렌드와 패턴을 무시하며, 테이블 추출 오류가 누적됨 (2) 약한 정렬(weak alignment)을 가진 비전-언어 백본(예: LLaVA)을 사용하여 실제 복잡한 차트에 대한 일반화 능력이 부족함.
Why: 실제 세계의 복잡한 차트들(특히 메타데이터가 없는)을 이해하기 위해서는 차트 이미지의 모든 시각적 특성을 직접 포착해야 하며, 더 강력하게 정렬된 모델 백본이 필요하다.
Approach: 차트 이미지에서 직접 명령어-튜닝 데이터를 생성하고, 더 강력한 백본인 PaliGemma(대규모 정렬 데이터로 사전 학습됨)를 기반으로 구축한 ChartGemma 모델을 제안한다.

Figure 1: 명령어-튜닝 데이터 생성 과정. 차트 이미지를 Gemini Flash 1.5에 입력하여 ChartGemma 미세조정에 사용할 시각적 차트 명령어 생성

벤치마크 성과: 차트 요약, 질문 응답, 사실 검증을 아우르는 5개 벤치마크에서 최고 수준의 결과 달성. 기존 모델들(예: UniChart, ChartQA 기반 모델)을 능가함.
정성적 우수성: 실제 복잡한 차트에 대한 인간 평가 및 GPT-4 평가에서 다른 방법들보다 더 현실적이고 사실에 기반한 요약 생성 확인(Table 1의 사례 참고).
효율성: 기존 차트 특화 모델들과 비교하여 훨씬 더 작은 모델 크기로 우수한 성능 달성, 실제 응용에 더 적합함.

Table 1: 동일한 LLM(Gemini Flash 1.5)이 데이터 테이블 vs. 차트 이미지에서 생성한 요약의 차이로, 시각적 속성 이해의 중요성을 강조

방법론:

다양한 차트 말뭉치 구축: 합성 차트(PlotQA), 큐레이션된 차트(Statista), 웹 수집 차트(WebCharts)에서 총 122,857개 차트 이미지 수집
시각적 명령어 데이터 생성: Gemini Flash 1.5를 사용하여 차트 이미지에서 직접 다음 유형의 명령어 생성:
- Chain-of-Thought(CoT): 복잡한 추론 질문으로 단계적 문제 해결 능력 강화
- 요약(Summarization): 차트의 핵심 인사이트와 트렌드 포착
- 사실 검증(Fact Checking): 진술이 차트 데이터로 지지되는지 확인
- Chart-to-Markdown: 차트에서 마크다운 형식의 데이터 테이블 생성
- Program Aided Design: 계산 작업 수행 코드 생성
개방형 작업: 실제 시나리오의 다양한 작업 추가로 일반화 성능 향상
강력한 백본 활용: PaliGemma(SigLIP 비전 인코더 + Gemma 언어 모델)의 강한 비전-언어 정렬 특성 활용