Essence
Figure 1: FACTKG์ ์์ ๋ฐ์ดํฐ. ์ฃผ์ฅ์ SUPPORTED ๋๋ REFUTED๋ก ๊ฒ์ฆํ๊ธฐ ์ํด DBpedia์์ ์ถ์ถํ ํธ๋ฆฌํ(triple)์ ์ฆ๊ฑฐ๋ก ์ฌ์ฉ
๋ณธ ๋
ผ๋ฌธ์ ์ง์ ๊ทธ๋ํ(Knowledge Graph, KG)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ฌ์ค ๊ฒ์ฆ(fact verification)์ ์ํํ๊ธฐ ์ํ ์ฒซ ๋ฒ์งธ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
FACTKG๋ฅผ ์ ์ํ๋ค. ์ด ๋ฐ์ดํฐ์
์ 5๊ฐ์ง ์ถ๋ก ์ ํ(One-hop, Conjunction, Existence, Multi-hop, Negation)์ ํฌํจํ๋ 108k๊ฐ์ ์์ฐ์ธ์ด ์ฃผ์ฅ์ผ๋ก ๊ตฌ์ฑ๋์ด ์๋ค.
Evaluation
Novelty: 4.5/5 Technical Soundness: 4/5 Significance: 4.5/5 Clarity: 4/5 Overall: 4.3/5
์ดํ: FACTKG๋ KG ๊ธฐ๋ฐ ์ฌ์ค ๊ฒ์ฆ์ ์ฒด๊ณ์ ์ด๊ณ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ์ ์ํ์ฌ ํ๋ฌธ์ ยท์ค์ฉ์ ๊ฐ์น๊ฐ ๋์ผ๋, ์๋ํ๋ ๋ฐ์ดํฐ ์์ฑ ํ์ดํ๋ผ์ธ์ ํ๊ณ์ ์ธ์ด ๋ค์์ฑ ๋ถ์กฑ์ผ๋ก ์ธํด ๊ฐ์ ์ ์ฌ์ง๊ฐ ์๋ค. ๊ทธ๋ํ ๊ตฌ์กฐ๋ฅผ ํตํ ๋ช
ํํ ์ถ๋ก ๊ณผ์ ์ ์๋ ํด์ ๊ฐ๋ฅ์ฑ์ด ์ค์ํ ์ฌ์ค ๊ฒ์ฆ ๋ถ์ผ์ ํฐ ๊ธฐ์ฌ๋ฅผ ํ๋ค.
๊ฐ์ด ๋ณด๋ฉด ์ข์ ๋
ผ๋ฌธ
๊ธฐ๋ฐ ์ฐ๊ตฌ
FactKG๋ ์ง์ ๊ทธ๋ํ๋ฅผ ํตํ ํฉํธ ๊ฒ์ฆ ๋ฐ ์ถ๋ก ๋ฐฉ๋ฒ์ ์ ์ํด ์ผ๊ด์ฑ ๊ธฐ๋ฐ ์ ๊ทผ๋ฒ์ ์ฃผ์ ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
333์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ํฉํธ ๊ฒ์ฆ ๋ฐฉ๋ฒ์ ์๊ฐํ์ฌ 057์ ๋ด์ค ๋ฐ ๋
ผ๋ฌธ ์ฆ๊ฑฐ ์์ง ์๊ณ ๋ฆฌ์ฆ ๊ฐ๋ฐ์ ๊ธฐ์ ์ ํ ๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ์ฌ์ค ๊ฒ์ฆ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
๋ฐ ๋ฐฉ๋ฒ๋ก ์ ๊ธฐ๋ฐ์ผ๋ก, ๊ณผํ ๋
ผ๋ฌธ ์ธ์ฉ ์์ธก ๋ฐ ํ๊ฐ๋ฅผ ๊ตฌํํ ์ ์๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
333์ ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ์ ์ฌ์ค ๊ฒ์ฆ ๋ฐ ์ถ๋ก ๋ฐฉ๋ฒ๋ก ์ ์ ๋ฆฝํ๋ฉฐ, 117์ ์ค๋ช
์์ฑ ๋ฐ ์ฆ๊ฑฐ ํ์๊ณผ ๊ฐ์ ๋ณตํฉ์ ์ฌ์ค ๊ฒ์ฆ ๊ณผ์ ์ ์ด๋ก ์ ๊ธฐ๋ฐ์ด ๋ ์ ์๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ํฉํธ ๊ฒ์ฆ ํ๋ ์์ํฌ๋ก, ์ธ๋ถ์ง์ ํตํฉ ๊ตฌ์กฐ์ ๋ฐฉ๋ฒ๋ก ์ ๊ธฐ๋ฐ์ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
Factkg ๋
ผ๋ฌธ์ ํฉํธ ์ฒดํฌ๋ฅผ ์ํ ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ์ถ๋ก ์ ๊ทผ์ ๋ค๋ฃจ์ด 394์ ๊ทผ๊ฑฐ ๊ธฐ๋ฐ ์ค๋ฅ ํ์ง ๋ฐฉ๋ฒ์ ๊ฐ๋
์ ๊ธฐ๋ฐ์ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ฆ๊ฑฐ ์ถ๋ก ๋ฐ ํฉํธ์ฒดํน์ ๋ํ์ ํ๋ ์์ํฌ๋ก, ClaimVer์ ๋
ผ๋ฆฌ์ ๊ธฐ๋ฐ์ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
333๋ฒ ๋
ผ๋ฌธ์ ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ํฉํธ์ฒดํฌ ๋ฐ ๊ฒ์ฆ ๋ฐฉ๋ฒ๋ก ์ ์ ์ํ๋ฉฐ, BioKGBench์ ๊ธฐ๋ณธ์ ํ๊ฐ ๊ด์ ์ ์ ๊ณตํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
018์ ์์ํ์ง์๊ทธ๋ํ ์ง์์๋ต/์ถ๋ก ํ๋ ์์ํฌ๋ 333์์ ์ ์๋ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ง์ ๊ฒ์ฆ๊ณผ ์๋ฆฌ์ ์ผ๋ก ๋ง๋ฟ์ ์์ต๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
Factkg ๋
ผ๋ฌธ์ RAG ๋ฐ KG ๊ธฐ๋ฐ ๊ฒ์ฆ ๋งฅ๋ฝ์์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ถ๋ก ๊ณผ ์ฌ์ค ๊ฒ์ฆ์ ์ด๋ก ์ ๊ธฐ๋ฐ์ ๋ง๋ จํฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
์ง์ ํํ ๋ฐ ์ถ๋ก ์ ๊ดํ ์ ์ฌํ ์ฃผ์ ๋ฅผ ๋ค๋ฅธ ์ ๊ทผ๋ฒ์ผ๋ก ๋ค๋ฃจ๋ ์ฐ๊ตฌ์ด๋ค.
๋ค๋ฅธ ์ ๊ทผ
FactKG๋ ์ง์ ๊ทธ๋ํ๋ฅผ ํตํ ์ถ๋ก ๊ธฐ๋ฐ ์ฌ์ค ๊ฒ์ฆ์ผ๋ก, ๋ฐ๋ฐ ์ฆ๊ฑฐ ๋ถ์ฌ ๋ฌธ์ ๋ฅผ ๊ตฌ์กฐํ๋ ์ง์์ผ๋ก ๋ณด์ํ๋ ๋์์ ์ ๊ทผ์ด๋ค.
๋ค๋ฅธ ์ ๊ทผ
์ธ๊ฐ ์ฃผ์ ์์ด LLM ์ฆ๋ฅ ๊ธฐ๋ฐ์ผ๋ก ํฉํธ์ฒดํน์ ์ํํ๋ ๋์์ ๋ฐฉ๋ฒ๋ก ์ ์ ์ํฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
Factkg: Fact verification via reasoning on knowledge graphs ๋
ผ๋ฌธ์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ถ๋ก ์ ํตํด ๋๋ฉ์ธ ๊ฐ ์ฌ์ค ๊ฒ์ฆ ์ผ๋ฐํ ์ฑ๋ฅ ํฅ์์ ์ ๊ทผ, ๋ณธ ๋
ผ๋ฌธ์ ์ ์ด ํ์ต ๋ฌธ์ ์ ๋์กฐ์ ์ผ๋ก ์ฐ๊ฒฐ๋ฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
333์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ฌ์ค ๊ฒ์ฆ์ ๋ค๋ฃจ์ด, 488์ LLM-๊ธฐ๋ฐ ์ง์ ๊ทธ๋ํ ์ง์ ์๋ต๊ณผ ๋ชฉํ ์์ญ์ด ๊ฒน์น์ง๋ง ๋ฐฉ๋ฒ๋ก ์ด ๋ค๋ฆ
๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
FactKG(333)์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ๊ณผํ์ ์ฌ์ค ๊ฒ์ฆ์ ๋์์ ์ถ๊ตฌํ์ฌ, ๋ฏธ๋์ด ์๊ณก ํ์ง์ ์ํธ ๋ณด์์ ์ ๊ทผ์ ๋ณด์
๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
333 ๋
ผ๋ฌธ์ ๋ณตํฉ์ ์ธ ์ฃผ์ฅ ๊ฒ์ฆ์ ์ํด ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์ถ๋ก ๋ฐฉ์์ ํ์ฉํ์ง๋ง, KGValidator์ ๋ฌ๋ฆฌ LLM ๊ธฐ๋ฐ ์์ฑํ ์์ด์ ํธ๋ฅผ ์ฌ์ฉํ์ง ์๋ ์ ์์ ๋ค๋ฅธ ์ ๊ทผ์
๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
FactKG(333)์ ๊ณผํ์ ์ฃผ์ฅ ๊ฒ์ฆ์์ ์ํฐํฐ-๊ด๊ณ ์ ๋ณด ํ์ฉ์ด๋ผ๋ ์ ์ฌ ๋ฌธ์ ์์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ๋ฐฉ๋ฒ์ ์ ์ฉํฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
์ง์ ๊ทธ๋ํ์ LLM์ ํ์ฉํ ๋ฐ์ด์ค๋ฉ๋์ปฌ ์ฌ์ค ๊ฒ์ฆ์ ์ด์ ์ ๋ง์ถ์ด, FACTKG์ ์ผ๋ฐ์ ์ฌ์ค์ฑ ๊ฒ์ฆ์ ๋๋ฉ์ธ ํนํ๋ก ํ์ฅํ ์ฌ๋ก์
๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
๋ ๋ค ์ฌ์คยท์๊ณ ๋ฆฌ์ฆ์ ์ฃผ์ฅ์ ๋ํ ๊ฒ์ฆ ๋ฐ ์ค๋ฅ ํ์ง๋ฅผ ๋ค๋ฃจ๋ฉฐ, 182๋ ๋ฐ๋ก ์์ฑ ๋ฅ๋ ฅ์ ์ง์ค, 333์ ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ๋ค์ค ์ถ๋ก ํ๊ฐ์ ์ง์คํฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
GraphEval์ ๊ทธ๋ํ ๊ธฐ๋ฐ ์์ด๋์ด ํ๊ฐ์ ๋ฌ๋ฆฌ, FactKG ๋
ผ๋ฌธ์ ์ฌ์ค ๊ฒ์ฆ์ ์ํด ์ง์ ๊ทธ๋ํ ์์ ์ถ๋ก ์ ์ฌ์ฉํ๋ฏ๋ก ๋ ๋ฐฉ์์ ๋น๊ตํ๋ฉด์ ์๋ก์ ์ฅ์ ๊ณผ ํ๊ณ๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
FactKG๋ ์ง์ ๊ทธ๋ํ๋ฅผ ํตํ ์ถ๋ก ์ผ๋ก ์ฌ์ค์ ๊ฒ์ฆํ๋ ์ ๊ทผ์ผ๋ก, DEFAME์ ๋์ ์ฆ๊ฑฐ ๊ธฐ๋ฐ ๋ฉํฐ๋ชจ๋ฌ ํฉํธ์ฒดํน๊ณผ ๋ค๋ฅธ ๋ฐฉ๋ฒ๋ก ์ ์ทจํ๋ค.
๋ค๋ฅธ ์ ๊ทผ
FactKG๋ ๊ณผํ๋ฌธํ ์ค๋ฅ ๊ฒ์ฆ์ ๋ ๋ค๋ฅธ ์๋ํ ์ ๊ทผ๋ฒ(์ง์๊ทธ๋ํ ๊ธฐ๋ฐ)์ ์ ์ํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
020์ ์ง์๊ทธ๋ํ ๊ธฐ๊ณํ์ต ์ด๋ก ์ 333์ ํฉํธ๊ฒ์ฆ์ ์ํ ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ์ถ๋ก ์ฐ๊ตฌ๋ก ํ์ฅ๋ฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
Factkg ๋
ผ๋ฌธ์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ํฉํธ ๊ฒ์ฆ ๋ชจ๋ธ์ ์ ์ํด์, LLM์ ๊ณ์ธต์ ์ฆ๊ฑฐ์์ง ์ ๊ทผ์ ๊ตฌ์กฐ์ ์๋ฏธ ์ถ๋ก ์ผ๋ก ํ๋ํ๋ค.
ํ์ ์ฐ๊ตฌ
FactKG๋ ๊ทธ๋ํ ๊ธฐ๋ฐ ํฉํธ์ฒดํน ์์คํ
์ผ๋ก, ํ๋ก๊ทธ๋จ ๊ฐ์ด๋ ๊ธฐ๋ฐ ์ ๊ทผ๊ณผ์ ๋น๊ต ๋ฐ ํตํฉ ๋ฐฉ์ ํ์์ด ๊ฐ๋ฅํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
์ง์ ๊ทธ๋ํ์ LLM์ ๊ฒฐํฉํด ๊ณผํ์ ๊ฐ์ค ์์ฑ ๋ฐ ๊ฒ์ฆ์ ์์ฌ๊ฒฐ์ ์ ๊ด์ ์์ ํ์ฅํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
์ฌ์ค ๊ฒ์ฆ์ ๋ฐ์ด์ค๋ฉ๋์ปฌ ์ง์๊ทธ๋ํ์ ํผํฉํ ๋ฐ์ดํฐ์
์ ๋์
ํด, FACTKG์ ๋ฐฉ๋ฒ๋ก ์ ์์ํ ๋ถ์ผ๋ก ํ์ฅํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
LLM ๊ธฐ๋ฐ ๊ณผํ์ ์ฌ์ค ํ์(์์น), ์ฆ๊ฑฐ ํ์ฉ, ์ถ๋ก ๋ฐฉ์์ด ์ง์๊ทธ๋ํ reasoning๊ณผ ์ด๋ค ์๋์ง๊ฐ ์๋์ง ๋ถ์ํ๋ค.
ํ์ ์ฐ๊ตฌ
๋ ๋ค ์ฌ์ค/์ฃผ์ฅ ๊ฒ์ฆ์์ ์ฌํ๋ ์ถ๋ก ๊ณผ ๋ฐ๋ก, ์ค๋ฅ ๋ฐ๊ฒฌ ๋ฅ๋ ฅํ๊ฐ๋ฅผ ๋ค๋ฃจ๋ฉฐ, 182๋ ๋ฐ๋ก ์์ฑ ํ๊ฐ๋ฅผ ํตํด ์ฌ์ค ๊ฒ์ฆ ํ๊ณ๋ฅผ ๋ณด์ํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
333์ ์ง์ ๊ทธ๋ํ ๊ธฐ๋ฐ ๊ณผํ ํฉํธ ๊ฒ์ฆ ํ๋ ์์ํฌ๋ฅผ ์ ์ํด, 827์ ์ฃผ์ฅ ์ถ์ถ ํ ํ๊ฐ ๋ฐฉ์์ ํ ๋จ๊ณ ๋ฐ์ ์ํจ ์ฌ๋ก์
๋๋ค.
ํ์ ์ฐ๊ตฌ
333์ ๊ณผํ์ ํฉํธ ๊ฒ์ฆ์ ์ํด ์ง์ ๊ทธ๋ํ ์ถ๋ก ์ ํ์ฉํ๋๋ฐ, 328์ LLM ๊ธฐ๋ฐ ๋๋ฉ์ธ ํนํ ๊ฒ์ฆ ๋ฐฉ๋ฒ์ ๋ณด์/ํ์ฅ์ ์ญํ ์ ํฉ๋๋ค.
์์ฉ ์ฌ๋ก
๋
ผ๋ฌธ ์ธ์ฉ ์์ธก์ ์ํ ๋จ๊ณ์ ๋ถ๋ฅ ๋ชจ๋ธ์ด, ์ง์๊ทธ๋ํ ๊ธฐ๋ฐ ์ฌ์ค ๊ฒ์ฆ ๋ฐฉ๋ฒ๊ณผ ์ด๋ป๊ฒ ์กฐํฉ ๊ฐ๋ฅํ์ง ๋ณด์ฌ์ค๋ค.
๋ฐ๋ก /๋นํ
NLP ์ฌ์ค ๊ฒ์ฆ์์ ๋ฐ์ฆ ๊ทผ๊ฑฐ๋ฅผ ์ฐพ์ง ๋ชปํ๋ฉด ์ฑ๋ฅ ํ๊ณ๊ฐ ์๋ค๋ ์ค์ฆ ์ฐ๊ตฌ๋ก, KG ๊ธฐ๋ฐ ์ ๊ทผ์ ๋งน์ ์ ์ง์ ํฉ๋๋ค.