PatFig: Generating Short and Long Captions for Patent Figures

์ €์ž: Dana Aubakirova, Kim Gerdes, Lufei Liu | ๋‚ ์งœ: 2023-10-2 | DOI: 10.1109/ICCVW60793.2023.00305 📄 PDF


Essence

Figure 1

๋ณธ ๋…ผ๋ฌธ์€ ์œ ๋Ÿฝ ํŠนํ—ˆ์ฒญ(EPO)์˜ 11,000๊ฐœ ์ด์ƒ ํŠนํ—ˆ์—์„œ ์ถ”์ถœํ•œ 30,000๊ฐœ ์ด์ƒ์˜ ํŠนํ—ˆ ๋„ํ˜•์œผ๋กœ ๊ตฌ์„ฑ๋œ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ Qatent PatFig๋ฅผ ์†Œ๊ฐœํ•˜๋ฉฐ, ๋Œ€๊ทœ๋ชจ ๋น„์ „-์–ธ์–ด ๋ชจ๋ธ(LVLM)์„ ๋ฏธ์„ธ์กฐ์ •ํ•˜์—ฌ ํŠนํ—ˆ ๋„ํ˜•์— ๋Œ€ํ•œ ์งง๊ณ  ๊ธด ์บก์…˜์„ ์ž๋™ ์ƒ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•œ๋‹ค.

Motivation

Achievement

  1. PatFig ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•: 30,714๊ฐœ์˜ ํŠนํ—ˆ ๋„ํ˜•์œผ๋กœ ๊ตฌ์„ฑ๋œ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ ๊ฐœ๋ฐœ(์ตœ์ข… ๊ฐœ์ •๋ณธ: 17,877๊ฐœ ํ›ˆ๋ จ, 2,417๊ฐœ ํ…Œ์ŠคํŠธ)
    • ์งง์€ ์บก์…˜(Short captions)๊ณผ ๊ธด ์บก์…˜(Long captions) ํฌํ•จ
    • ์ฐธ์กฐ ๊ธฐํ˜ธ(reference numerals), ์šฉ์–ด(terms), ๋„ํ˜• ์œ ํ˜•, ์ตœ์†Œ ์ฒญ๊ตฌํ•ญ ์ •๋ณด ์ œ๊ณต
  2. LVLM ๊ธฐ๋ฐ˜ ์บก์…˜ ์ƒ์„ฑ: MiniGPT-4๋ฅผ ํ™œ์šฉํ•œ ํšจ๊ณผ์ ์ธ ํŠนํ—ˆ ๋„ํ˜• ์บก์…˜ ์ƒ์„ฑ ์‹œ์Šคํ…œ ๊ฐœ๋ฐœ
    • ์งง์€ ์บก์…˜: ์ตœ๊ณ  BLEU2 0.5573, CIDEr 0.7939
    • ๊ธด ์บก์…˜: ์ตœ๊ณ  BLEU2 0.3478, CIDEr 0.0587
  3. ํ…์ŠคํŠธ ๋‹จ์„œ์˜ ์˜ํ–ฅ ๋ถ„์„: ์ œ๋ชฉ๊ณผ ์šฉ์–ด ์ถ”๊ฐ€๊ฐ€ ์บก์…˜ ํ’ˆ์งˆ ํ–ฅ์ƒ์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ ์‹ค์ฆ

How

Table 3

๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ• ๋ฐฉ๋ฒ•

LVLM ๋ฏธ์„ธ์กฐ์ • ์‹คํ—˜

Originality

Limitation & Further Study

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 3/5 Clarity: 4/5 Overall: 3.5/5

์ดํ‰: ๋ณธ ๋…ผ๋ฌธ์€ ํŠนํ—ˆ ๋„ํ˜• ์บก์…”๋‹์ด๋ผ๋Š” ์ƒˆ๋กœ์šด ๋„๋ฉ”์ธ์„ ๊ฐœ์ฒ™ํ•˜๊ณ  ๋Œ€๊ทœ๋ชจ ์ฃผ์„ ๋ฐ์ดํ„ฐ์…‹์„ ์ œ๊ณตํ•œ ์ ์—์„œ ์˜๋ฏธ์žˆ๋Š” ๊ธฐ์—ฌ๋ฅผ ํ•˜์˜€์œผ๋‚˜, LVLM ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•์˜ ์‹ค์ œ ์„ฑ๋Šฅ(ํŠนํžˆ ๊ธด ์บก์…˜)์ด ๋งŒ์กฑ์Šค๋Ÿฝ์ง€ ๋ชปํ•˜๊ณ  ๊ธฐ์ˆ ์  ํ˜์‹ ์„ฑ์ด ๋ถ€์กฑํ•˜์—ฌ ํ›„์† ์—ฐ๊ตฌ ๊ฐœ์„ ์ด ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
SciCap์€ ๊ณผํ•™ ๋…ผ๋ฌธ ๋„ํ˜• ์บก์…˜ ์ƒ์„ฑ ๋ฐ์ดํ„ฐ์™€ ํ’ˆ์งˆ ํ‰๊ฐ€ ๊ธฐ์ค€์˜ ๊ทผ๊ฐ„์„ ์ œ๊ณตํ•ด PatFig์˜ ๋ฐฉ๋ฒ•๋ก  ์ดํ•ด๋ฅผ ๋†’์ผ ์ˆ˜ ์žˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
709๋Š” ์บก์…˜ ์ƒ์„ฑ์„ ์œ„ํ•œ ์ง€์‹ ์ฆ๊ฐ• ๋ฐ์ดํ„ฐ์…‹์„ ์„ค๊ณ„ํ•˜์—ฌ, 605์ฒ˜๋Ÿผ ํŠนํ—ˆ ๋“ฑ ๋„๋ฉ”์ธ๋ณ„ ์บก์…˜ ์ƒ์„ฑ ์—ฐ๊ตฌ์— ๊ธฐ์ดˆ ์ž๋ฃŒ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Figgen์€ ์ผ๋ฐ˜ ๊ณผํ•™ ๋…ผ๋ฌธ ๋„ํ˜• ์ƒ์„ฑ์„ ๋‹ค๋ฃจ๋Š” ๋ฐ˜๋ฉด, PatFig๋Š” ํŠนํ—ˆ ๋„ํ˜• ์บก์…˜์— ํŠนํ™”๋˜์–ด ์žˆ์–ด ๋ฐ์ดํ„ฐ์…‹๊ณผ ์‘์šฉ ์˜์—ญ์˜ ์ฐจ์ด๋ฅผ ๋ณด์—ฌ์ค€๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
338 ๋…ผ๋ฌธ์€ ๋…ผ๋ฌธ ๋„ํ˜• ์ž๋™ ์บก์…˜ ์ƒ์„ฑ์„ ์œ„ํ•œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ ‘๊ทผ์„ ์ œ์‹œํ•˜๋ฉฐ, 605์˜ ํŠนํ—ˆ ๋„๋ฉ”์ธ ์ ์šฉ๊ณผ๋Š” ์ƒ๋ฐ˜๋œ ์ผ๋ฐ˜ ํ•™์ˆ  ๋ฌธ์ œ ์ ์šฉ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์˜ ํŠนํ—ˆ ๋ถ„์„ ๋ฐ ์ง€์‹์žฌ์‚ฐ๊ถŒ ํ‰๊ฐ€ ๋Šฅ๋ ฅ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒ€์ฆํ•˜๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ํŠนํ—ˆ ๋„๋ฉด์—์„œ์˜ ์บก์…˜ ์ƒ์„ฑ ๊ณผ์ œ๋ฅผ ํ†ตํ•ด, ๋„๋ฉด-ํ…์ŠคํŠธ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์บก์…˜ ์ƒ์„ฑ ๋ฐฉ์‹์˜ ์ฐจ์ด๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ํŠนํ—ˆ ๋„๋ฉ”์ธ ๊ทธ๋ฆผ ์บก์…˜ ์ž๋™ํ™” ์—ฐ๊ตฌ๋กœ, ๋…ผ๋ฌธ ์‹œ๊ฐ์ •๋ณด ์š”์•ฝ/๋ณ€ํ™˜์˜ ๋‹ค์–‘ํ•œ ํ•„๋“œ ๊ตฌํ˜„์„ ์ƒํ˜ธ ๋ณด์™„์ ์œผ๋กœ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
Multi-llm collaborative caption generation ๋…ผ๋ฌธ์€ ๋‹ค์ค‘ LLM์„ ์ด์šฉํ•œ ํ˜‘๋ ฅ์  ์บก์…˜ ์ƒ์„ฑ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜๋ฉฐ, 605์™€ ๊ฐ™์ด ๋„ํ˜• ์บก์…˜ ์ž๋™ํ™” ๋„๋ฉ”์ธ์˜ ํ˜„์‹ค์  ์„ฑ๋Šฅ ํ•œ๊ณ„๋ฅผ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
605 ๋…ผ๋ฌธ์€ ํŠนํ—ˆ ๋„๋ฉด์˜ ์บก์…˜ ์ž๋™์ƒ์„ฑ์— 709์—์„œ ๋‹ค๋ฃจ๋Š” ๊ณผํ•™ ์ด๋ฏธ์ง€-ํ…์ŠคํŠธ ์ •๋ ฌ์„ ์‹ค์ œ ์—”์ง€๋‹ˆ์–ด๋ง ๋„๋ฉ”์ธ์— ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
605๋Š” ํŠนํ—ˆ ๋„ํ˜•์„ ๋Œ€์ƒ์œผ๋กœ ์ง์ ‘ ์บก์…˜ ์ƒ์„ฑ/๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•์„ ๋ณด์—ฌ์ฃผ๋ฉฐ, 337์˜ ์ƒ์„ฑ์  ์ ‘๊ทผ์ด ์‹ค์ œ ๋ฌธ์ œ์—์„œ ์–ด๋–ป๊ฒŒ ํ™•์žฅ๋˜๋Š”์ง€ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
Paper2Web ๋…ผ๋ฌธ์€ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜์˜ ๋…ผ๋ฌธ ์ž๋™ ๋ณ€ํ™˜ ์›Œํฌํ”Œ๋กœ์šฐ๋ฅผ ์†Œ๊ฐœํ•ด ์ ์‘ํ˜• ์‚ฌํšŒ๊ตฌ์กฐ ์—์ด์ „ํŠธ ํ™˜๊ฒฝ์˜ ์‹ค์ œ์  ์‘์šฉ ์˜ˆ์‹œ๋กœ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
853 ๋…ผ๋ฌธ์€ ์‹ค์ œ ๋…ผ๋ฌธ ์ €์ž๊ฐ€ AI๋กœ ์ƒ์„ฑํ•œ ๋„ํ˜• ์บก์…˜์„ ์‚ฌ์šฉํ•˜๋Š” ํ–‰๋™์„ ๋ถ„์„ํ•จ์œผ๋กœ์จ, 605์˜ LVLM ๊ธฐ๋ฐ˜ ์ž๋™ ์บก์…˜ ์ƒ์„ฑ์„ ์‹ค์งˆ์ ์œผ๋กœ ํ‰๊ฐ€ํ•˜๋Š” ์‘์šฉ ์—ฐ๊ตฌ๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •