Chime: Llm-assisted hierarchical organization of scientific studies for literature review support

์ €์ž: Chao-Chun Hsu, Erin Bransom, Jenna Sparks, Bailey Kuehl, Chenhao Tan, David Wadden, Lucy Wang, Aakanksha Naik | ๋‚ ์งœ: 2024 | DOI: N/A 📄 PDF


Essence

Figure 1

์ฃผ์–ด์ง„ ์—ฐ๊ตฌ ์ฃผ์ œ์™€ ๊ด€๋ จ๋œ ํ•™์ˆ ์ง€๋ฅผ ์ž…๋ ฅ๋ฐ›์•„ LLM์ด ์—ฌ๋Ÿฌ ๊ณ„์ธต์  ์กฐ์ง ๊ตฌ์กฐ๋ฅผ ์ƒ์„ฑํ•˜๊ณ , ๊ฐ ๋ฒ”์ฃผ์— ๋…ผ๋ฌธ์„ ํ• ๋‹นํ•˜๋Š” ๊ณผ์ •. ๊ทธ๋Ÿฌ๋‚˜ ๋ฒ”์ฃผ ๊ฐ„ ๋งํฌ ์˜ค๋ฅ˜์™€ ๋…ผ๋ฌธ ํ• ๋‹น ์˜ค๋ฅ˜ ๋ฐœ์ƒ.

๋ณธ ๋…ผ๋ฌธ์€ ๋ฌธํ—Œ ๊ฒ€ํ† (Literature Review)๋ฅผ ์ง€์›ํ•˜๊ธฐ ์œ„ํ•ด LLM์„ ํ™œ์šฉํ•˜์—ฌ ๊ณผํ•™ ๋…ผ๋ฌธ๋“ค์„ ๊ณ„์ธต์  ํŠธ๋ฆฌ ๊ตฌ์กฐ๋กœ ์ž๋™ ์กฐ์งํ™”ํ•˜๋Š” ์‹œ์Šคํ…œ์„ ์ œ์‹œํ•˜๊ณ , ์ „๋ฌธ๊ฐ€ ์ˆ˜์ •์„ ํ†ตํ•ด ๊ตฌ์ถ•ํ•œ CHIME ๋ฐ์ดํ„ฐ์…‹์„ ๊ณต๊ฐœํ•œ๋‹ค.

Motivation

Achievement

Figure 2

๊ณ„์ธต ์ƒ์„ฑ ํŒŒ์ดํ”„๋ผ์ธ: ์ฒญ๊ตฌ๋ฌธ(claim) ์ƒ์„ฑ, ๊ทผ ์นดํ…Œ๊ณ ๋ฆฌ(root category) ์ƒ์„ฑ, ๊ณ„์ธต ์™„์„ฑ ๋ฐ ์ฒญ๊ตฌ๋ฌธ ํ• ๋‹น ๋‹จ๊ณ„

  1. CHIME ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•:
    • 472๊ฐœ ์ƒ๋ฌผ์˜ํ•™ ์ฃผ์ œ์— ๋Œ€ํ•œ 2,174๊ฐœ LLM ์ƒ์„ฑ ๊ณ„์ธต
    • 100๊ฐœ ์ฃผ์ œ์— ๋Œ€ํ•œ 320๊ฐœ ์ „๋ฌธ๊ฐ€ ๊ฒ€์ฆ ๊ณ„์ธต ํฌํ•จ
    • ์ฝ”ํฌ๋ž€ ์ฒด๊ณ„์  ๋ฆฌ๋ทฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ํ™œ์šฉ
  2. LLM ์„ฑ๋Šฅ ์ •๋Ÿ‰ํ™”:
    • ๋ถ€๋ชจ-์ž์‹ ๋ฒ”์ฃผ ๋งํฌ: 98% ์ •ํ™•๋„ (๊ฑฐ์˜ ์™„๋ฒฝ)
    • ํ˜•์ œ ๋ฒ”์ฃผ ์ง‘๋‹จ ์ผ๊ด€์„ฑ(sibling coherence): 77.3% ์ •ํ™•๋„
    • ๋…ผ๋ฌธ-๋ฒ”์ฃผ ํ• ๋‹น: 61.5% F1 ์ ์ˆ˜ (๊ฐœ์„  ํ•„์š”)
  3. ๊ฐœ์„  ๋ชจ๋ธ ๊ฐœ๋ฐœ:
    • FLAN-T5 ๊ธฐ๋ฐ˜ ์ˆ˜์ •๊ธฐ ๋ชจ๋ธ ํ•™์Šต
    • ๋…ผ๋ฌธ ํ• ๋‹น ์„ฑ๋Šฅ 12.6 F1 ํฌ์ธํŠธ ํ–ฅ์ƒ

How

Figure 2

Originality

Limitation & Further Study

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4.5/5 Overall: 4/5

์ดํ‰: ๋ฌธํ—Œ ๊ฒ€ํ†  ์ง€์›์„ ์œ„ํ•œ ๊ณ„์ธต์  ์กฐ์งํ™”๋ผ๋Š” ์‹ค์งˆ์  ๋ฌธ์ œ์— LLM์„ ์ ์šฉํ•˜๊ณ  ์ฒด๊ณ„์ ์ธ ํœด๋จผ-์ธ-๋”-๋ฃจํ”„ ํ”„๋กœ์„ธ์Šค๋กœ ๊ณ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•œ ์ ์ด ์šฐ์ˆ˜ํ•˜๋ฉฐ, ๋…ผ๋ฌธ ํ• ๋‹น ์˜ค๋ฅ˜ ๊ฐœ์„ ์˜ ์—ฌ์ง€๊ฐ€ ๋‚จ์•„์žˆ์–ด ํ–ฅํ›„ ์—ฐ๊ตฌ ๊ฐ€์น˜๊ฐ€ ๋†’๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
์ž๋™ํ™”๋œ ๋Œ€๊ทœ๋ชจ ๊ด€๋ จ ์—…๋ฌด(related work) ์„น์…˜ ์ƒ์„ฑ ๋ฐ ๋…ผ๋ฌธ ์กฐ์งํ™” ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•์— ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Graphusion ๋…ผ๋ฌธ์€ ๋…ผ๋ฌธ ์ง€์‹๊ตฌ์กฐ๋ฅผ ์ž๋™ ๊ตฌ์ถ•ํ•˜๋Š” RAG ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ๋ฌธํ—Œ ๊ตฌ์กฐํ™”์™€ ์ž๋™ ๋ถ„๋ฅ˜์˜ ๊ธฐ๋ฐ˜์ด ๋œ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
215๋ฒˆ ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™๋ฌธํ—Œ ๋ถ„๋ฅ˜ยท๊ตฌ์กฐํ™” ์‹œ์Šคํ…œ์˜ ๊ธฐ์ดˆ ์—ฐ๊ตฌ๋กœ์„œ, ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ •๋ณด ์ถ”์ถœ๊ณผ ํ†ตํ•ฉ ํƒœ์Šคํฌ์˜ ๊ตฌํ˜„ ํ† ๋Œ€๋ฅผ ๋งˆ๋ จํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
402๋Š” ๋ฌธํ—Œ ๋ฆฌ๋ทฐ์šฉ ๋…ผ๋ฌธ ๊ณ„์ธต์  ๋ชฉ์ฐจ ์ƒ์„ฑ๊ณผ์ •์˜ ์ธ๊ฐ„-LLM ํ˜‘์—… ๋ฐ์ดํ„ฐ๋ฅผ ์ œ์‹œ, 215์˜ ์ž๋™ ํŠธ๋ฆฌ ๊ตฌ์กฐํ™” ๋ฐฉ์‹๊ณผ ๋ฐฉ๋ฒ•๋ก  ์ƒ ์ฐจ์ด๋ฅผ ๋น„๊ตํ•  ์ˆ˜ ์žˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Taxonomy tree generation from citation graph๋Š” ๋…ผ๋ฌธ๋“ค ๊ฐ„์˜ ๊ตฌ์กฐ์  ๊ด€๊ณ„๋ฅผ ์ถ”์ถœํ•˜๋Š” ๋‹ค๋ฅธ ์ ‘๊ทผ๋ฒ•์„ ์ œ๊ณตํ•˜๋ฉฐ, CHIME์˜ ๊ณ„์ธต์  ๋ฆฌ๋ทฐ ํŠธ๋ฆฌ ์ƒ์„ฑ๊ณผ ๋Œ€๋น„ํ•ด ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Automated review generation ๋…ผ๋ฌธ๋„ LLM์„ ํ™œ์šฉํ•œ ๋ฌธํ—Œ ๋ฆฌ๋ทฐ ์ž๋™ํ™”๋กœ, CHIME ๋ฐฉ์‹๊ณผ ๋น„๊ต๋  ์ˆ˜ ์žˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™ ํ…์ŠคํŠธ ๊ตฌ์กฐํ™”๋ฅผ ์œ„ํ•ด ๊ณ„์ธต์  ์กฐ์ง ๋ฐฉ๋ฒ•๋ก ์„ ์‚ฌ์šฉํ•˜๋Š” 215๋Š” 047๊ณผ ์œ ์‚ฌํ•˜์ง€๋งŒ, hierarchical organization์— ๋” ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™ ์—ฐ๊ตฌ ๋™ํ–ฅ ๋ถ„์„์„ ๋‹ค๋ฅธ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ์ ‘๊ทผ๋ฒ•์œผ๋กœ ์ˆ˜ํ–‰ํ•œ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๋…ผ๋ฌธ ๊ฐ„ ๊ด€๊ณ„๋ฅผ LLM ๊ธฐ๋ฐ˜ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๋ฐ ํŠธ๋ฆฌ๋กœ ์กฐ์งํ™”ํ•˜๋Š” ์ ‘๊ทผ์œผ๋กœ, CHIME ์‹œ์Šคํ…œ๊ณผ ์—ฐ๊ณ„ํ•œ ๊ณ ๋„ํ™”์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
780์€ LLM ๊ธฐ๋ฐ˜ ์„œ๋ฒ ์ด ์ž๋™ํ™” ๋ฐ ์žฅ๊ธฐ๊ธฐ์–ต ํ™œ์šฉ์„ ๋‹ค๋ฃจ์–ด, 215์—์„œ ๋…ผ๋ฌธ ํŠธ๋ฆฌ ๊ตฌ์กฐ๊ฐ€ ์‹ค์ œ ์–ด๋–ป๊ฒŒ ๋ฌธํ—Œ์ข…ํ•ฉ, ์š”์•ฝ์— ์ ‘๋ชฉ๋˜๋Š”์ง€ ๋ณด์—ฌ์ค€๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
215๋Š” ๋…ผ๋ฌธ์„ ๊ณ„์ธต์ ์œผ๋กœ ์กฐ์งํ™”ํ•œ ์‚ฌ๋ก€๋กœ, 157์˜ ๋™์  ๊ณ„ํš ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ์‹ค์งˆ์  ๋ฌธํ—Œ ๊ตฌ์กฐํ™”์—์„œ ์–ด๋–ป๊ฒŒ ํ™œ์šฉ๋  ์ˆ˜ ์žˆ๋Š”์ง€ ๋ณด์—ฌ์ค€๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
ViraHinter ์Šคํƒ€์ผ ๋ชจ๋ธ๋กœ ์˜ˆ์ธกํ•œ ๋ฐ”์ด๋Ÿฌ์Šค-์ˆ™์ฃผ ์ƒํ˜ธ์ž‘์šฉ ๊ฒฐ๊ณผ๋ฅผ ์‹ค์ œ ๊ธฐ๋Šฅ์„ฑ ๋ฐ์ดํ„ฐ ์กฐ์งํ™”์— ์‘์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋…ผ๋ฌธ์ž…๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •