A Review on Scientific Knowledge Extraction using Large Language Models in Biomedical Sciences

์ €์ž: Gabriel Lino Garcia, Joรฃo Renato Ribeiro Manesco, P. H. Paiola, Lucas Miranda, Maria Paola de Salvo | ๋‚ ์งœ: 2024 | DOI: 10.48550/arXiv.2412.03531 📄 PDF


Essence

Figure 1

Figure 1: Illustration of the screening process, conducted in

๋ณธ ๋…ผ๋ฌธ์€ ์˜๋ฃŒ ๊ณผํ•™ ๋ถ„์•ผ์—์„œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์„ ํ™œ์šฉํ•œ ๊ณผํ•™์  ์ง€์‹ ์ถ”์ถœ ๋ฐ ์ฆ๊ฑฐ ํ•ฉ์„ฑ(evidence synthesis)์˜ ํ˜„ํ™ฉ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒ€ํ† ํ•œ๋‹ค. LLM์˜ ์˜๋ฃŒ ๋ฌธํ—Œ ์ž๋™ํ™” ์ฒ˜๋ฆฌ ์ž ์žฌ๋ ฅ๊ณผ ํ•จ๊ป˜ hallucination, ๋งฅ๋ฝ ์ดํ•ด, ์ผ๋ฐ˜ํ™” ๋Šฅ๋ ฅ ๋“ฑ์˜ ์ฃผ์š” ๊ณผ์ œ๋ฅผ ๋ถ„์„ํ•œ๋‹ค.

Motivation

Achievement

Figure 1

Figure 1: Illustration of the screening process, conducted in

How

Figure 1

Figure 1: Illustration of the screening process, conducted in

Originality

Limitation & Further Study

Evaluation

Novelty: 3/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 3/5

์ดํ‰: ๋ณธ ๋…ผ๋ฌธ์€ ์˜๋ฃŒ ๋ถ„์•ผ LLM ์‘์šฉ์˜ ํ˜„ํ™ฉ์„ ์ฒด๊ณ„์ ์œผ๋กœ ์ •๋ฆฌํ•œ ์˜๋ฏธ ์žˆ๋Š” ์ข…์„ค์ด๋‚˜, ์ตœ์ข… ํฌํ•จ ์—ฐ๊ตฌ ์ˆ˜์˜ ์ œํ•œ์„ฑ๊ณผ ๊ธฐ์ˆ ์  ์‹ฌํ™” ๋ถ„์„ ๋ถ€์กฑ์ด ์ œ์•ฝ์ด๋‹ค. ํ–ฅํ›„ ํ‘œ์ค€ํ™”๋œ ํ‰๊ฐ€ ์ฒด๊ณ„ ๊ตฌ์ถ•๊ณผ ์‹ค์ œ ์ž„์ƒ ์ ์šฉ ์—ฐ๊ตฌ๋กœ์˜ ๋ฐœ์ „์ด ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ์— ๊ด€ํ•œ LLM ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•๋ก ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๋‹ค๋ฃจ์–ด ActionIE ์—ฐ๊ตฌ์˜ ์ด๋ก ์  ๋ฐฐ๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
LLM์˜ ๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ๊ณผ ํ™˜๊ฐ ๋ฌธ์ œ ๋“ฑ์˜ ๊ณผ์ œ๋ฅผ ์ „๋ฐ˜์ ์œผ๋กœ ๊ฒ€ํ† ํ•˜๋ฉฐ ์‹ ๋ขฐ์„ฑ ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ๋ฐฐ๊ฒฝ์ด ๋ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
021์—์„œ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ์˜ ํ•œ๊ณ„ ๋ฐ ์‹ ๋ขฐ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃจ์–ด, 904์—์„œ ๋…ผ์˜ํ•˜๋Š” ๊ฒ€์ƒ‰ ์—”์ง„ ํ˜„์‹ค ์ ์šฉ์— ๊ทผ๊ฑฐ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
780์—์„œ ๋‹ค๋ฃจ๋Š” ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์™€ ์ž๋™ ์„ค๋ฌธ์ƒ์„ฑ์€ 021์˜ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ง€์‹์ถ”์ถœ์— ๋Œ€ํ•œ ์ด๋ก ์  ๊ธฐ์ดˆ๋ฅผ ํ† ๋Œ€๋กœ ํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
021์—์„œ LLM ํ™œ์šฉ ๋ฌธํ—Œ ์ž๋™ํ™” ๋ฐ ํ•œ๊ณ„๋ฅผ ๋‹ค๋ฃจ๊ธฐ ๋•Œ๋ฌธ์—, 862์˜ ์‹œ์Šคํ…œ ๋ฆฌ๋ทฐ ํ‰๊ฐ€์— ์ด๋ก ์  ๋ฐฐ๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
021์€ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ ์ „๋ฐ˜์„ ์ฒด๊ณ„์ ์œผ๋กœ ๋‹ค๋ฃจ๋ฉฐ, 681์˜ ์‹ ๋ขฐ์„ฑยทํ™˜๊ฐ ๋ฌธ์ œ ์ ‘๊ทผ์— ์ด๋ก ์  ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™ ๋ฌธํ—Œ์—์„œ LLM ๊ธฐ๋ฐ˜ ์ฆ๊ฑฐ ํ•ฉ์„ฑ ๋ฐ ์ง€์‹ ์ถ”์ถœ์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์„œ๋ฒ ์ด์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์˜๋ฃŒ AI์—์„œ LLM์˜ ํ•œ๊ณ„์™€ hallucination ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
836๋Š” LLM์˜ ๋‚ด๋ถ€ ์ž‘๋™ ๋ฐ ์„ค๋ช…๊ฐ€๋Šฅ์„ฑ ์ž์ฒด์— ์ดˆ์ ์„ ๋งž์ถ”์–ด 021์ด ์ง€์ ํ•œ ์‹ ๋ขฐ์„ฑยทํ• ๋ฃจ์‹œ๋„ค์ด์…˜ ์ด์Šˆ์— ๋Œ€ํ•œ ๋‹ค๋ฅธ ์‹œ๊ฐ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™์  ์ง€์‹ ์ถ”์ถœ ๋ฐ ํ•ฉ์„ฑ์„ ์œ„ํ•œ LLM ํ™œ์šฉ์„ ๋‹ค๋ฃจ๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์˜๋ฃŒ ๋ถ„์•ผ์—์„œ LLM์„ ํ™œ์šฉํ•œ ์ง€์‹ ์ถ”์ถœ ๋ฐ ๋ฌธํ—Œ ๋ถ„์„์„ ๋‹ค๋ฃจ๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ƒ์˜ํ•™ ๋ถ„์•ผ์—์„œ ์ž์—ฐ์–ด์ฒ˜๋ฆฌ๋ฅผ ํ™œ์šฉํ•œ ์ •๋ณด ์ถ”์ถœ์„ ๋‹ค๋ฃจ๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
396 ๋…ผ๋ฌธ์€ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ํ™˜๊ฐ ๊ฐ์†Œ ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•˜์—ฌ 021 ๋…ผ๋ฌธ์—์„œ ์–ธ๊ธ‰๋œ ๋ฌธ์ œ์— ๋Œ€ํ•œ ์‹ค์งˆ์ ์ธ ์†”๋ฃจ์…˜์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
803์˜ ๋ฐ์ดํ„ฐ์…‹์€ 021์—์„œ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ ๋ฐ ์ž๋™ ๋ฆฌ๋ทฐ ํ‰๊ฐ€์˜ ์‹ค์ฆ์  ์‹คํ—˜ ์ž๋ฃŒ๋กœ ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ ๋ฐ hallucination ๋ฌธ์ œ์˜ ์‹ ๋ขฐ์„ฑ ํ‰๊ฐ€ ๋ฐฉ๋ฒ•์„ ์‹ค์ œ ํ”„๋ ˆ์ž„์›Œํฌ ์ˆ˜์ค€์œผ๋กœ ํ™•์žฅํ•œ ๋…ผ๋ฌธ์ž…๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
904๋Š” ๊ณผํ•™ ๊ฒ€์ƒ‰ ์—”์ง„ ๋“ฑ ๊ตฌ์ฒด์  ๋„๊ตฌ ๋งฅ๋ฝ์—์„œ 021์—์„œ ๋…ผ์˜ํ•œ LLM์˜ ๊ณผํ•™์  ์‹ ๋ขฐ์„ฑ๊ณผ ํ• ๋ฃจ์‹œ๋„ค์ด์…˜ ๋ฌธ์ œ๋ฅผ ์‹ค์ œ ๋ฌธํ—Œ๊ฒ€์ƒ‰ ํšจ์œจ๊ณผ ์—ฐ๊ณ„ํ•ด ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
์‹ค์ œ ๋…ผ๋ฌธ ์˜ค๋ฅ˜ ์ž๋™ ๊ฒ€์ฆ ์‹คํŒจ ์‚ฌ๋ก€๊ฐ€ ๋ฆฌ๋ทฐ ๋…ผ๋ฌธ์—์„œ ์ง€์ ํ•œ LLM ๊ณผ์ œ์˜ ๊ตฌ์ฒด์  ์˜ˆ์‹œ๋กœ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
828 ๋…ผ๋ฌธ์€ AI ์—ฐ๊ตฌ์˜ ์—”๋“œ-ํˆฌ-์—”๋“œ ์ž๋™ํ™”๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, 021์˜ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ง€์‹ ์ถ”์ถœ์˜ ์‹ค์ œ ์ ์šฉ ์‚ฌ๋ก€๋ฅผ ํƒ์ƒ‰ํ•ฉ๋‹ˆ๋‹ค.
๋ฐ˜๋ก /๋น„ํŒ
021์€ LLM ๊ธฐ๋ฐ˜ ์ง€์‹ ์ถ”์ถœ์˜ ํ•œ๊ณ„์™€ ํ• ๋ฃจ์‹œ๋„ค์ด์…˜์„ ๋น„ํŒ์ ์œผ๋กœ ๋ถ„์„ํ•˜์—ฌ 609์˜ ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ ๊ฐ•ํ™” ๋ฐฉ์•ˆ๊ณผ ๋ณด์™„์ ์œผ๋กœ ํ•จ๊ป˜ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •