ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild

์ €์ž: Ahmed Masry, Megh Thakkar, Aayush Bajaj, Aaryaman Kartha, Enamul Hoque, Shafiq Joty | ๋‚ ์งœ: 2024 | DOI: 10.48550/ARXIV.2407.04172 📄 PDF


Essence

์ฐจํŠธ ์ด๋ฏธ์ง€์—์„œ ์ง์ ‘ ์ƒ์„ฑํ•œ ์‹œ๊ฐ์  ๋ช…๋ น์–ด ๋ฐ์ดํ„ฐ๋กœ ํ•™์Šตํ•œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ๋กœ, ๊ธฐ์กด ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ” ์˜์กด์„ฑ์„ ์ œ๊ฑฐํ•˜๊ณ  ๊ฐ•๋ ฅํ•œ ๋น„์ „-์–ธ์–ด ๋ฐฑ๋ณธ(PaliGemma)์„ ํ™œ์šฉํ•˜์—ฌ ์‹ค์ œ ์ฐจํŠธ ์ดํ•ด์™€ ์ถ”๋ก ์—์„œ ์ตœ๊ณ  ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ–ˆ๋‹ค.

Motivation

Achievement

Figure 1

Figure 1: ๋ช…๋ น์–ด-ํŠœ๋‹ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ๊ณผ์ •. ์ฐจํŠธ ์ด๋ฏธ์ง€๋ฅผ Gemini Flash 1.5์— ์ž…๋ ฅํ•˜์—ฌ ChartGemma ๋ฏธ์„ธ์กฐ์ •์— ์‚ฌ์šฉํ•  ์‹œ๊ฐ์  ์ฐจํŠธ ๋ช…๋ น์–ด ์ƒ์„ฑ

  1. ๋ฒค์น˜๋งˆํฌ ์„ฑ๊ณผ: ์ฐจํŠธ ์š”์•ฝ, ์งˆ๋ฌธ ์‘๋‹ต, ์‚ฌ์‹ค ๊ฒ€์ฆ์„ ์•„์šฐ๋ฅด๋Š” 5๊ฐœ ๋ฒค์น˜๋งˆํฌ์—์„œ ์ตœ๊ณ  ์ˆ˜์ค€์˜ ๊ฒฐ๊ณผ ๋‹ฌ์„ฑ. ๊ธฐ์กด ๋ชจ๋ธ๋“ค(์˜ˆ: UniChart, ChartQA ๊ธฐ๋ฐ˜ ๋ชจ๋ธ)์„ ๋Šฅ๊ฐ€ํ•จ.
  2. ์ •์„ฑ์  ์šฐ์ˆ˜์„ฑ: ์‹ค์ œ ๋ณต์žกํ•œ ์ฐจํŠธ์— ๋Œ€ํ•œ ์ธ๊ฐ„ ํ‰๊ฐ€ ๋ฐ GPT-4 ํ‰๊ฐ€์—์„œ ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•๋“ค๋ณด๋‹ค ๋” ํ˜„์‹ค์ ์ด๊ณ  ์‚ฌ์‹ค์— ๊ธฐ๋ฐ˜ํ•œ ์š”์•ฝ ์ƒ์„ฑ ํ™•์ธ(Table 1์˜ ์‚ฌ๋ก€ ์ฐธ๊ณ ).
  3. ํšจ์œจ์„ฑ: ๊ธฐ์กด ์ฐจํŠธ ํŠนํ™” ๋ชจ๋ธ๋“ค๊ณผ ๋น„๊ตํ•˜์—ฌ ํ›จ์”ฌ ๋” ์ž‘์€ ๋ชจ๋ธ ํฌ๊ธฐ๋กœ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ ๋‹ฌ์„ฑ, ์‹ค์ œ ์‘์šฉ์— ๋” ์ ํ•ฉํ•จ.

How

Table 1 (๊ฐœ๋…์  ์„ค๋ช…)

Table 1: ๋™์ผํ•œ LLM(Gemini Flash 1.5)์ด ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ” vs. ์ฐจํŠธ ์ด๋ฏธ์ง€์—์„œ ์ƒ์„ฑํ•œ ์š”์•ฝ์˜ ์ฐจ์ด๋กœ, ์‹œ๊ฐ์  ์†์„ฑ ์ดํ•ด์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐ

๋ฐฉ๋ฒ•๋ก :

Originality

Limitation & Further Study

Evaluation

Novelty: 4.5/5 Technical Soundness: 4.5/5 Significance: 4.8/5 Clarity: 4.5/5 Overall: 4.6/5

์ดํ‰: ChartGemma๋Š” ์ฐจํŠธ ์ดํ•ด ๋ฌธ์ œ์˜ ํ•ต์‹ฌ์ธ ์‹œ๊ฐ์  ์ •๋ณด ํฌ์ฐฉ๊ณผ ๊ฐ•ํ•œ ๋ชจ๋ธ ์ •๋ ฌ์— ํšจ๊ณผ์ ์œผ๋กœ ๋Œ€์‘ํ•˜๋ฉฐ, ๊ธฐ์กด ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ” ์˜์กด ๋ฐฉ์‹์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•œ ์‹ค์šฉ์ ์ด๊ณ  ์šฐ์ˆ˜ํ•œ ์—ฐ๊ตฌ๋กœ, ์žฌํ˜„์„ฑ ๊ณต๊ฐœ๋ฅผ ํ†ตํ•ด ํ•™๊ณ„์— ์˜๋ฏธ ์žˆ๋Š” ๊ธฐ์—ฌ๋ฅผ ํ•œ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
ChartGemma์˜ ์ฐจํŠธ ์ค‘์‹ฌ ๋น„์ „-์–ธ์–ด ๋ชจ๋ธ๋ง ์„ฑ๊ณผ๊ฐ€ MMC์˜ ๋Œ€๊ทœ๋ชจ ๋ช…๋ น์–ด ํŠœ๋‹์— ์„ ํ–‰ ์—ฐ๊ตฌ๋กœ์„œ ๋ฐ€์ ‘ํ•˜๊ฒŒ ์ž‘์šฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChartLlama๋„ ์ฐจํŠธ ์ดํ•ด์— ํŠนํ™”๋œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ LLM์„ ์ œ์•ˆํ•˜๋ฉฐ, ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ํŒŒ์ดํ”„๋ผ์ธ์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ฐจํŠธ ์ดํ•ด๋ฅผ ์œ„ํ•œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ ํ•™์Šต ๋ฐฉ๋ฒ•๋ก ์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChartGemma ๋…ผ๋ฌธ์€ ์ฐจํŠธ reasoning ๋ฐ ๋ฒค์น˜๋งˆํฌ ๊ฐœ๋ฐœ ์ธก๋ฉด์—์„œ Scimage์™€ ์œ ์‚ฌ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃฌ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ฐจํŠธ ์ดํ•ด ๋ฐ ์ถ”๋ก ์„ ์œ„ํ•œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ์„ ์ œ์•ˆํ•˜๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChartInstruct๋Š” ์ฐจํŠธ ํ•ด์„์„ ์œ„ํ•œ ์ƒˆ๋กœ์šด ๋ช…๋ น์–ด ๊ธฐ๋ฐ˜ ๋ฒค์น˜๋งˆํฌ์™€ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํŒŒ์ธํŠœ๋‹์„ ํƒ๊ตฌํ•ด ChartGemma์˜ ์‹œ๊ฐ์  ๋ช…๋ น์–ด ์ ‘๊ทผ๊ณผ ๋Œ€์กฐ์  ์‹œ์‚ฌ์ ์„ ์ œ์‹œํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
198์˜ ChartGemma๋Š” ์‹œ๊ฐ์  ์ฐจํŠธ ์ถ”๋ก  ํŠœ๋‹ ์ค‘์‹ฌ, 315๋Š” ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ฝ”๋“œ ์ƒ์„ฑ ๋ฐ ๋ฐ˜๋ณต์  ์„ ํ˜ธ๋„ ํ•™์Šต์— ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChartGemma๋Š” ์‹œ์„  ์ถ”์  ๋Œ€์‹  ์‹œ๊ฐ์  instruction-tuning์„ ํ†ตํ•œ ์ฐจํŠธ ์ดํ•ด ์„ฑ๋Šฅ ํ–ฅ์ƒ ์ ‘๊ทผ๋ฒ•์„ ์‚ฌ์šฉํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChartGemma ๋…ผ๋ฌธ์€ ์‹œ๊ฐ ์ถ”๋ก ์— ๋งž์ถ˜ ๋น„์ „-์–ธ์–ด instruct-tuning์œผ๋กœ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ CoT์™€ ์œ ์‚ฌ ์ฃผ์ œ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
ChartGemma๋Š” ์ฐจํŠธ ๋ฆฌ์ฆˆ๋‹ ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•˜๋Š” ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ฒค์น˜๋งˆํฌ๋กœ, ChartBERT์˜ ๋ฐœ์ „์  ์‘์šฉ ๋ฐ ํ›„์† ๋ฒค์น˜๋งˆํฌ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
ChartGemma๋Š” ์ฐจํŠธ ๋ฆฌ์ฆˆ๋‹ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ AI ์„ฑ๋Šฅ์„ MMSCI ๋ฐ์ดํ„ฐ์…‹ ๋งฅ๋ฝ์—์„œ ๋”์šฑ ์‹ฌ์ธต์ ์œผ๋กœ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
198 ๋…ผ๋ฌธ์€ ์ฐจํŠธ ์ถ”๋ก ์„ ์œ„ํ•œ LLM ์ฐจํŠธ ์‹œ๊ฐํ™” ํŠœ๋‹ ๊ธฐ๋ฒ•์„ ์‹ฌ๋„ ์žˆ๊ฒŒ ๋‹ค๋ฃจ์–ด, 783์—์„œ ๊ตฌ์ถ•๋œ ์ฐจํŠธยทQA ๋ฐ์ดํ„ฐ์™€ ์—ฐ๊ณ„ํ•™์Šต ์‹œ๋„ˆ์ง€ ํšจ๊ณผ๊ฐ€ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
MMC ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ฐจํŠธ ์ดํ•ด ๋ฐ์ดํ„ฐ์…‹๊ณผ ํฌ๊ด„์  ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ์‹œํ•ด ๊ฐ•๋ ฅํ•œ ์ฐจํŠธ ํŠนํ™” LMM ์—ฐ๊ตฌ์˜ ๋ฐœ์ „์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ฐจํŠธ ๋ฐ ์‹œ๊ฐ ๊ตฌ์กฐ ์ดํ•ด๊ฐ€ ๊ณผํ•™์  ๋ฐ์ดํ„ฐ๋ฅผ ์–ด๋–ป๊ฒŒ ํšจ๊ณผ์ ์œผ๋กœ ์˜ˆ์ธก/ํ•ด์„ํ•˜๋Š”์ง€ ์‹ค์ œ ์žฌ๋ฃŒ/ํ™”ํ•™ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋งฅ๋ฝ์—์„œ ์‘์šฉํ•œ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
198์€ ์ฐจํŠธ ์ถ”๋ก ์—์„œ ์‹œ๊ฐ์  instruction-tuning์„ ์‹œ๋„ํ•˜์—ฌ, 148์˜ ํŽธํ–ฅ ์™„ํ™”๊ฐ€ ์‹ค์ œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์‘์šฉ์—์„œ ํšจ๊ณผ์ ์œผ๋กœ ์ ์šฉ๋  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •