Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking

Essence

ChartFC 데이터셋의 예: 청구(claim)가 증거 차트로 지지되는 경우

본 논문은 차트 이미지를 증거로 하여 텍스트 청구의 진위를 판정하는 새로운 자동 팩트-체킹(AFC) 과제를 제안하고, 이를 위한 첫 번째 모델인 ChartBERT를 소개한다. 텍스트, 구조, 시각 정보를 결합하여 차트 기반 주장 검증의 복잡한 추론 문제를 해결한다.

Known: 자동 팩트-체킹 연구는 텍스트, 표(table) 증거를 중심으로 진행되었으며, 이미지 기반 AFC는 주로 조작되거나 가짜 이미지 탐지에 집중했다.
Gap: 뉘앙스 있는 차트 왜곡(예: 잘못된 비교, 상관관계를 인과관계로 표현, 오도적 해석)을 감지하는 증거 기반 차트 팩트-체킹 과제가 부재하다.
Why: 차트는 뉴스, 보고서, 소셜 미디어에서 광범위하게 사용되며(COVID-19 대시보드 예시), 차트의 설계 및 해석을 통한 오정보 확산은 심각한 문제이다.
Approach: OCR 기반 텍스트 추출, 시퀀스 생성, 구조 임베딩이 강화된 BERT 아키텍처를 통해 통합적 차트 이해 모델을 제안하고, 15,886개 차트로 구성된 ChartFC 벤치마크 데이터셋을 구축한다.

ChartBERT 아키텍처: 읽기(Reading), 시퀀스 생성, 인코딩 세 가지 구성 요소

신규 과제 및 데이터셋: 차트 기반 팩트-체킹 과제를 최초 제안하고, 다양한 방향성, 색상, 배경을 갖춘 15,886개의 인간-작성 청구 기반 ChartFC 데이터셋 구축
모델 성능: ChartBERT가 63.8% 정확도를 달성하며, 75개 비전-언어(VL) 기준 모델(5개 비전 인코더, 3개 언어 인코더, 5개 융합 방법의 조합)을 체계적으로 평가하여 최상의 VL 기준선 초과
포괄적 벤치마킹: 최신 비전-언어 모델들의 한계를 명확히 하고, 모델 실패 패턴에 대한 상세 분석 제공

ChartBERT 입력 표현: 추출된 텍스트와 구조 임베딩(x, y 좌표, 라벨 임베딩)

1단계 - 텍스트 및 구조 정보 추출

2단계 - 텍스트 시퀀스 생성

연결(Concatenation): 좌표 기반 정렬하여 텍스트 영역을 순차적으로 연결 (예: "usain bolt ; 1 ; andy stanfield ; 2")
템플릿: 구조 정보를 활용한 3가지 템플릿으로 의미 있는 시퀀스 생성
- tmp1: "entry [num]: [lx] is [textx]; [ly] is [texty]"
- tmp2: "row [num]: [lx] is [textx]; [ly] is [texty]"
- tmp3: "[lx] is [textx] when [ly] is [texty]"

3단계 - 인코딩 및 분류

청구(claim)와 추출된 시퀀스를 [SEP] 토큰으로 분리하고 [CLS]를 앞에 추가
BERT 임베딩(토큰, 세그먼트, 위치)에 3개 구조 임베딩 추가:
- x 좌표 임베딩: 텍스트의 수평 위치 정보
- y 좌표 임베딩: 텍스트의 수직 위치 정보
- 라벨 임베딩: x축/y축 라벨 여부 표시
768차원 표현을 완전 연결 계층과 시그모이드를 통해 지지(supports)/반박(refutes) 분류

데이터셋 구축