Factkg: Fact verification via reasoning on knowledge graphs

์ €์ž: Jiho Kim, Sungjin Park, Yeonsu Kwon, Yohan Jo, James H. Thorne, Edward Choi | ๋‚ ์งœ: 2023 | DOI: arXiv:2305.06590 📄 PDF


Essence

Figure 1

Figure 1: FACTKG์˜ ์˜ˆ์ œ ๋ฐ์ดํ„ฐ. ์ฃผ์žฅ์„ SUPPORTED ๋˜๋Š” REFUTED๋กœ ๊ฒ€์ฆํ•˜๊ธฐ ์œ„ํ•ด DBpedia์—์„œ ์ถ”์ถœํ•œ ํŠธ๋ฆฌํ”Œ(triple)์„ ์ฆ๊ฑฐ๋กœ ์‚ฌ์šฉ

๋ณธ ๋…ผ๋ฌธ์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„(Knowledge Graph, KG)๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์‚ฌ์‹ค ๊ฒ€์ฆ(fact verification)์„ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•œ ์ฒซ ๋ฒˆ์งธ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ FACTKG๋ฅผ ์ œ์‹œํ•œ๋‹ค. ์ด ๋ฐ์ดํ„ฐ์…‹์€ 5๊ฐ€์ง€ ์ถ”๋ก  ์œ ํ˜•(One-hop, Conjunction, Existence, Multi-hop, Negation)์„ ํฌํ•จํ•˜๋Š” 108k๊ฐœ์˜ ์ž์—ฐ์–ธ์–ด ์ฃผ์žฅ์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ๋‹ค.

Motivation

Achievement

Figure 2

Figure 2: FACTKG์—์„œ ์‚ฌ์šฉ๋œ ๋‘ ๊ฐ€์ง€ ์น˜ํ™˜ ๋ฐฉ๋ฒ•. Entity ์น˜ํ™˜์—์„œ๋Š” ์›๋ž˜ ์ฃผ์žฅ์˜ ๋ชจ๋“  ์—”ํ„ฐํ‹ฐ๋กœ๋ถ€ํ„ฐ 4-hop ์™ธ๋ถ€์— ์œ„์น˜ํ•œ ์ƒˆ ์—”ํ„ฐํ‹ฐ๋ฅผ ์„ ํƒํ•˜๋ฉฐ, ์–‘๋ฐฉํ–ฅ NLI ๊ฒฐ๊ณผ๊ฐ€ ๋ชจ๋‘ contradiction์ด๋ฉด ์™„๋ฃŒํ•œ๋‹ค. Relation ์น˜ํ™˜์—์„œ๋Š” ์›๋ž˜ relation๊ณผ ๋™์ผํ•œ ์—”ํ„ฐํ‹ฐ ํƒ€์ž…์„ ๊ฐ–๋Š” relation์„ ๋ฌด์ž‘์œ„๋กœ ์ถ”์ถœํ•˜์—ฌ ์น˜ํ™˜ํ•œ๋‹ค.

  1. ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์„ฑ: 5๊ฐ€์ง€ ์ถ”๋ก  ์œ ํ˜•(One-hop, Conjunction, Existence, Multi-hop, Negation)์„ ์ฒด๊ณ„์ ์œผ๋กœ ๋ถ„๋ฅ˜ํ•œ 108k๊ฐœ ์ฃผ์žฅ ์ƒ์„ฑ. DBpedia ์ „์ฒด(0.1B ํŠธ๋ฆฌํ”Œ)๋ฅผ ์ฆ๊ฑฐ๋กœ ์‚ฌ์šฉํ•˜์—ฌ ๊ธฐ์กด KG ๋ฐ์ดํ„ฐ์…‹(FB15K: 592K)๋ณด๋‹ค ํ›จ์”ฌ ๋Œ€๊ทœ๋ชจ์ด๋‹ค.
  2. ๋‹ค์–‘ํ•œ ์–ธ์–ด ์Šคํƒ€์ผ: Colloquial(๊ตฌ์–ด) ๋ฐ Written(๋ฌธ์–ด) ์Šคํƒ€์ผ์„ ๋ชจ๋‘ ํฌํ•จํ•˜์—ฌ ๋Œ€ํ™” ์‹œ์Šคํ…œ ๋“ฑ ์‹ค์ œ ์‘์šฉ์— ๋” ์ ํ•ฉํ•˜๊ฒŒ ๊ตฌ์„ฑ.
  3. ๊ธฐ์ค€ ๋ชจ๋ธ ์„ฑ๋Šฅ: ๊ทธ๋ž˜ํ”„ ์ฆ๊ฑฐ๋ฅผ ํ™œ์šฉํ•œ ๋ชจ๋ธ์ด ํ…์ŠคํŠธ๋งŒ ์‚ฌ์šฉํ•˜๋Š” ๊ธฐ์ค€ ๋ชจ๋ธ๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ•จ์„ ์‹ค์ฆ์ ์œผ๋กœ ์ž…์ฆ.

How

Figure 3

Figure 3: Conjunction๊ณผ Multi-hop ์ฃผ์žฅ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ๊ทธ๋ž˜ํ”„ ํŒจํ„ด

Originality

Limitation & Further Study

Evaluation

Novelty: 4.5/5 Technical Soundness: 4/5 Significance: 4.5/5 Clarity: 4/5 Overall: 4.3/5

์ดํ‰: FACTKG๋Š” KG ๊ธฐ๋ฐ˜ ์‚ฌ์‹ค ๊ฒ€์ฆ์˜ ์ฒด๊ณ„์ ์ด๊ณ  ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹์„ ์ œ์‹œํ•˜์—ฌ ํ•™๋ฌธ์ ยท์‹ค์šฉ์  ๊ฐ€์น˜๊ฐ€ ๋†’์œผ๋‚˜, ์ž๋™ํ™”๋œ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ํŒŒ์ดํ”„๋ผ์ธ์˜ ํ•œ๊ณ„์™€ ์–ธ์–ด ๋‹ค์–‘์„ฑ ๋ถ€์กฑ์œผ๋กœ ์ธํ•ด ๊ฐœ์„ ์˜ ์—ฌ์ง€๊ฐ€ ์žˆ๋‹ค. ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ๋ฅผ ํ†ตํ•œ ๋ช…ํ™•ํ•œ ์ถ”๋ก  ๊ณผ์ • ์ œ์‹œ๋Š” ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ์ด ์ค‘์š”ํ•œ ์‚ฌ์‹ค ๊ฒ€์ฆ ๋ถ„์•ผ์— ํฐ ๊ธฐ์—ฌ๋ฅผ ํ•œ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
FactKG๋Š” ์ง€์‹ ๊ทธ๋ž˜ํ”„๋ฅผ ํ†ตํ•œ ํŒฉํŠธ ๊ฒ€์ฆ ๋ฐ ์ถ”๋ก  ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•ด ์ผ๊ด€์„ฑ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ๋ฒ•์˜ ์ฃผ์š” ์ด๋ก ์  ๋ฐฐ๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
333์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํŒฉํŠธ ๊ฒ€์ฆ ๋ฐฉ๋ฒ•์„ ์†Œ๊ฐœํ•˜์—ฌ 057์˜ ๋‰ด์Šค ๋ฐ ๋…ผ๋ฌธ ์ฆ๊ฑฐ ์ˆ˜์ง‘ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐœ๋ฐœ์— ๊ธฐ์ˆ ์  ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์‚ฌ์‹ค ๊ฒ€์ฆ์˜ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹ ๋ฐ ๋ฐฉ๋ฒ•๋ก ์„ ๊ธฐ๋ฐ˜์œผ๋กœ, ๊ณผํ•™ ๋…ผ๋ฌธ ์ธ์šฉ ์˜ˆ์ธก ๋ฐ ํ‰๊ฐ€๋ฅผ ๊ตฌํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
333์€ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜์˜ ์‚ฌ์‹ค ๊ฒ€์ฆ ๋ฐ ์ถ”๋ก  ๋ฐฉ๋ฒ•๋ก ์„ ์ •๋ฆฝํ•˜๋ฉฐ, 117์˜ ์„ค๋ช… ์ƒ์„ฑ ๋ฐ ์ฆ๊ฑฐ ํƒ์ƒ‰๊ณผ ๊ฐ™์€ ๋ณตํ•ฉ์  ์‚ฌ์‹ค ๊ฒ€์ฆ ๊ณผ์ œ์˜ ์ด๋ก ์  ๊ธฐ๋ฐ˜์ด ๋  ์ˆ˜ ์žˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํŒฉํŠธ ๊ฒ€์ฆ ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ์™ธ๋ถ€์ง€์‹ ํ†ตํ•ฉ ๊ตฌ์กฐ์— ๋ฐฉ๋ฒ•๋ก ์  ๊ธฐ๋ฐ˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Factkg ๋…ผ๋ฌธ์€ ํŒฉํŠธ ์ฒดํฌ๋ฅผ ์œ„ํ•œ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ถ”๋ก  ์ ‘๊ทผ์„ ๋‹ค๋ฃจ์–ด 394์˜ ๊ทผ๊ฑฐ ๊ธฐ๋ฐ˜ ์˜ค๋ฅ˜ ํƒ์ง€ ๋ฐฉ๋ฒ•์— ๊ฐœ๋…์  ๊ธฐ๋ฐ˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ฆ๊ฑฐ ์ถ”๋ก  ๋ฐ ํŒฉํŠธ์ฒดํ‚น์˜ ๋Œ€ํ‘œ์  ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ClaimVer์˜ ๋…ผ๋ฆฌ์  ๊ธฐ๋ฐ˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
333๋ฒˆ ๋…ผ๋ฌธ์€ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํŒฉํŠธ์ฒดํฌ ๋ฐ ๊ฒ€์ฆ ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์‹œํ•˜๋ฉฐ, BioKGBench์˜ ๊ธฐ๋ณธ์  ํ‰๊ฐ€ ๊ด€์ ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
018์˜ ์ƒ์˜ํ•™์ง€์‹๊ทธ๋ž˜ํ”„ ์งˆ์˜์‘๋‹ต/์ถ”๋ก  ํ”„๋ ˆ์ž„์›Œํฌ๋Š” 333์—์„œ ์ œ์‹œ๋œ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ง€์‹ ๊ฒ€์ฆ๊ณผ ์›๋ฆฌ์ ์œผ๋กœ ๋งž๋‹ฟ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Factkg ๋…ผ๋ฌธ์€ RAG ๋ฐ KG ๊ธฐ๋ฐ˜ ๊ฒ€์ฆ ๋งฅ๋ฝ์—์„œ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ถ”๋ก ๊ณผ ์‚ฌ์‹ค ๊ฒ€์ฆ์˜ ์ด๋ก ์  ๊ธฐ๋ฐ˜์„ ๋งˆ๋ จํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ง€์‹ ํ‘œํ˜„ ๋ฐ ์ถ”๋ก ์— ๊ด€ํ•œ ์œ ์‚ฌํ•œ ์ฃผ์ œ๋ฅผ ๋‹ค๋ฅธ ์ ‘๊ทผ๋ฒ•์œผ๋กœ ๋‹ค๋ฃจ๋Š” ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
FactKG๋Š” ์ง€์‹ ๊ทธ๋ž˜ํ”„๋ฅผ ํ†ตํ•œ ์ถ”๋ก  ๊ธฐ๋ฐ˜ ์‚ฌ์‹ค ๊ฒ€์ฆ์œผ๋กœ, ๋ฐ˜๋ฐ• ์ฆ๊ฑฐ ๋ถ€์žฌ ๋ฌธ์ œ๋ฅผ ๊ตฌ์กฐํ™”๋œ ์ง€์‹์œผ๋กœ ๋ณด์™„ํ•˜๋Š” ๋Œ€์•ˆ์  ์ ‘๊ทผ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ธ๊ฐ„ ์ฃผ์„ ์—†์ด LLM ์ฆ๋ฅ˜ ๊ธฐ๋ฐ˜์œผ๋กœ ํŒฉํŠธ์ฒดํ‚น์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋Œ€์•ˆ์  ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Factkg: Fact verification via reasoning on knowledge graphs ๋…ผ๋ฌธ์€ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ถ”๋ก ์„ ํ†ตํ•ด ๋„๋ฉ”์ธ ๊ฐ„ ์‚ฌ์‹ค ๊ฒ€์ฆ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ ํ–ฅ์ƒ์— ์ ‘๊ทผ, ๋ณธ ๋…ผ๋ฌธ์˜ ์ „์ด ํ•™์Šต ๋ฌธ์ œ์™€ ๋Œ€์กฐ์ ์œผ๋กœ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
333์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์‚ฌ์‹ค ๊ฒ€์ฆ์„ ๋‹ค๋ฃจ์–ด, 488์˜ LLM-๊ธฐ๋ฐ˜ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ์งˆ์˜ ์‘๋‹ต๊ณผ ๋ชฉํ‘œ ์˜์—ญ์ด ๊ฒน์น˜์ง€๋งŒ ๋ฐฉ๋ฒ•๋ก ์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
FactKG(333)์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ๊ณผํ•™์  ์‚ฌ์‹ค ๊ฒ€์ฆ์˜ ๋Œ€์•ˆ์„ ์ถ”๊ตฌํ•˜์—ฌ, ๋ฏธ๋””์–ด ์™œ๊ณก ํƒ์ง€์™€ ์ƒํ˜ธ ๋ณด์™„์  ์ ‘๊ทผ์„ ๋ณด์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
333 ๋…ผ๋ฌธ์€ ๋ณตํ•ฉ์ ์ธ ์ฃผ์žฅ ๊ฒ€์ฆ์„ ์œ„ํ•ด ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ถ”๋ก  ๋ฐฉ์‹์„ ํ™œ์šฉํ•˜์ง€๋งŒ, KGValidator์™€ ๋‹ฌ๋ฆฌ LLM ๊ธฐ๋ฐ˜ ์ƒ์„ฑํ˜• ์—์ด์ „ํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ์ ์—์„œ ๋‹ค๋ฅธ ์ ‘๊ทผ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
FactKG(333)์€ ๊ณผํ•™์  ์ฃผ์žฅ ๊ฒ€์ฆ์—์„œ ์—”ํ‹ฐํ‹ฐ-๊ด€๊ณ„ ์ •๋ณด ํ™œ์šฉ์ด๋ผ๋Š” ์œ ์‚ฌ ๋ฌธ์ œ์—์„œ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•์„ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ง€์‹ ๊ทธ๋ž˜ํ”„์™€ LLM์„ ํ™œ์šฉํ•œ ๋ฐ”์ด์˜ค๋ฉ”๋””์ปฌ ์‚ฌ์‹ค ๊ฒ€์ฆ์— ์ดˆ์ ์„ ๋งž์ถ”์–ด, FACTKG์˜ ์ผ๋ฐ˜์  ์‚ฌ์‹ค์„ฑ ๊ฒ€์ฆ์„ ๋„๋ฉ”์ธ ํŠนํ™”๋กœ ํ™•์žฅํ•œ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋‘˜ ๋‹ค ์‚ฌ์‹คยท์•Œ๊ณ ๋ฆฌ์ฆ˜์  ์ฃผ์žฅ์— ๋Œ€ํ•œ ๊ฒ€์ฆ ๋ฐ ์˜ค๋ฅ˜ ํƒ์ง€๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, 182๋Š” ๋ฐ˜๋ก€ ์ƒ์„ฑ ๋Šฅ๋ ฅ์— ์ง‘์ค‘, 333์€ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ๋‹ค์ค‘ ์ถ”๋ก  ํ‰๊ฐ€์— ์ง‘์ค‘ํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
GraphEval์˜ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์•„์ด๋””์–ด ํ‰๊ฐ€์™€ ๋‹ฌ๋ฆฌ, FactKG ๋…ผ๋ฌธ์€ ์‚ฌ์‹ค ๊ฒ€์ฆ์„ ์œ„ํ•ด ์ง€์‹ ๊ทธ๋ž˜ํ”„ ์ƒ์˜ ์ถ”๋ก ์„ ์‚ฌ์šฉํ•˜๋ฏ€๋กœ ๋‘ ๋ฐฉ์‹์„ ๋น„๊ตํ•˜๋ฉด์„œ ์„œ๋กœ์˜ ์žฅ์ ๊ณผ ํ•œ๊ณ„๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
FactKG๋Š” ์ง€์‹ ๊ทธ๋ž˜ํ”„๋ฅผ ํ†ตํ•œ ์ถ”๋ก ์œผ๋กœ ์‚ฌ์‹ค์„ ๊ฒ€์ฆํ•˜๋Š” ์ ‘๊ทผ์œผ๋กœ, DEFAME์˜ ๋™์  ์ฆ๊ฑฐ ๊ธฐ๋ฐ˜ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํŒฉํŠธ์ฒดํ‚น๊ณผ ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•๋ก ์„ ์ทจํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
FactKG๋Š” ๊ณผํ•™๋ฌธํ—Œ ์˜ค๋ฅ˜ ๊ฒ€์ฆ์˜ ๋˜ ๋‹ค๋ฅธ ์ž๋™ํ™” ์ ‘๊ทผ๋ฒ•(์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜)์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
020์˜ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๊ณ„ํ•™์Šต ์ด๋ก ์€ 333์˜ ํŒฉํŠธ๊ฒ€์ฆ์„ ์œ„ํ•œ ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์ถ”๋ก ์—ฐ๊ตฌ๋กœ ํ™•์žฅ๋ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
Factkg ๋…ผ๋ฌธ์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํŒฉํŠธ ๊ฒ€์ฆ ๋ชจ๋ธ์„ ์ œ์•ˆํ•ด์„œ, LLM์˜ ๊ณ„์ธต์  ์ฆ๊ฑฐ์ˆ˜์ง‘ ์ ‘๊ทผ์„ ๊ตฌ์กฐ์  ์˜๋ฏธ ์ถ”๋ก ์œผ๋กœ ํ™•๋Œ€ํ•œ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
FactKG๋Š” ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํŒฉํŠธ์ฒดํ‚น ์‹œ์Šคํ…œ์œผ๋กœ, ํ”„๋กœ๊ทธ๋žจ ๊ฐ€์ด๋“œ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ๊ณผ์˜ ๋น„๊ต ๋ฐ ํ†ตํ•ฉ ๋ฐฉ์•ˆ ํƒ์ƒ‰์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
์ง€์‹ ๊ทธ๋ž˜ํ”„์™€ LLM์„ ๊ฒฐํ•ฉํ•ด ๊ณผํ•™์  ๊ฐ€์„ค ์ƒ์„ฑ ๋ฐ ๊ฒ€์ฆ์„ ์˜์‚ฌ๊ฒฐ์ •์  ๊ด€์ ์—์„œ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
์‚ฌ์‹ค ๊ฒ€์ฆ์— ๋ฐ”์ด์˜ค๋ฉ”๋””์ปฌ ์ง€์‹๊ทธ๋ž˜ํ”„์™€ ํ˜ผํ•ฉํ˜• ๋ฐ์ดํ„ฐ์…‹์„ ๋„์ž…ํ•ด, FACTKG์˜ ๋ฐฉ๋ฒ•๋ก ์„ ์ƒ์˜ํ•™ ๋ถ„์•ผ๋กœ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™์  ์‚ฌ์‹ค ํƒ์ƒ‰(์„œ์น˜), ์ฆ๊ฑฐ ํ™œ์šฉ, ์ถ”๋ก  ๋ฐฉ์‹์ด ์ง€์‹๊ทธ๋ž˜ํ”„ reasoning๊ณผ ์–ด๋–ค ์‹œ๋„ˆ์ง€๊ฐ€ ์žˆ๋Š”์ง€ ๋ถ„์„ํ•œ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๋‘˜ ๋‹ค ์‚ฌ์‹ค/์ฃผ์žฅ ๊ฒ€์ฆ์—์„œ ์‹ฌํ™”๋œ ์ถ”๋ก ๊ณผ ๋ฐ˜๋ก€, ์˜ค๋ฅ˜ ๋ฐœ๊ฒฌ ๋Šฅ๋ ฅํ‰๊ฐ€๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, 182๋Š” ๋ฐ˜๋ก€ ์ƒ์„ฑ ํ‰๊ฐ€๋ฅผ ํ†ตํ•ด ์‚ฌ์‹ค ๊ฒ€์ฆ ํ•œ๊ณ„๋ฅผ ๋ณด์™„ํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
333์€ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ๊ณผํ•™ ํŒฉํŠธ ๊ฒ€์ฆ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์‹œํ•ด, 827์˜ ์ฃผ์žฅ ์ถ”์ถœ ํ›„ ํ‰๊ฐ€ ๋ฐฉ์‹์„ ํ•œ ๋‹จ๊ณ„ ๋ฐœ์ „์‹œํ‚จ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
333์€ ๊ณผํ•™์  ํŒฉํŠธ ๊ฒ€์ฆ์„ ์œ„ํ•ด ์ง€์‹ ๊ทธ๋ž˜ํ”„ ์ถ”๋ก ์„ ํ™œ์šฉํ•˜๋Š”๋ฐ, 328์˜ LLM ๊ธฐ๋ฐ˜ ๋„๋ฉ”์ธ ํŠนํ™” ๊ฒ€์ฆ ๋ฐฉ๋ฒ•์— ๋ณด์™„/ํ™•์žฅ์˜ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
๋…ผ๋ฌธ ์ธ์šฉ ์˜ˆ์ธก์„ ์œ„ํ•œ ๋‹จ๊ณ„์  ๋ถ„๋ฅ˜ ๋ชจ๋ธ์ด, ์ง€์‹๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ์‚ฌ์‹ค ๊ฒ€์ฆ ๋ฐฉ๋ฒ•๊ณผ ์–ด๋–ป๊ฒŒ ์กฐํ•ฉ ๊ฐ€๋Šฅํ•œ์ง€ ๋ณด์—ฌ์ค€๋‹ค.
๋ฐ˜๋ก /๋น„ํŒ
NLP ์‚ฌ์‹ค ๊ฒ€์ฆ์—์„œ ๋ฐ˜์ฆ ๊ทผ๊ฑฐ๋ฅผ ์ฐพ์ง€ ๋ชปํ•˜๋ฉด ์„ฑ๋Šฅ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค๋Š” ์‹ค์ฆ ์—ฐ๊ตฌ๋กœ, KG ๊ธฐ๋ฐ˜ ์ ‘๊ทผ์˜ ๋งน์ ์„ ์ง€์ ํ•ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •