PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

์ €์ž: Jakub Lรกla, Odhran O'Donoghue, Aleksandar Shtedritski, Sam Cox, Samuel G. Rodriques, Andrew Dickson White | ๋‚ ์งœ: 2023 | DOI: N/A 📄 PDF


Essence

Figure 1: PaperQA Workflow Diagram

PaperQA๋Š” ๊ณผํ•™ ๋…ผ๋ฌธ ๊ฒ€์ƒ‰ ๋ฐ ํ•ฉ์„ฑ์„ ํ†ตํ•ด ๊ณผํ•™์  ์งˆ๋ฌธ์— ๋‹ต๋ณ€ํ•˜๋Š” ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ๊ฒ€์ƒ‰ ์ฆ๊ฐ• ์ƒ์„ฑ(RAG) ์‹œ์Šคํ…œ์ด๋‹ค. ๋Œ€๊ทœ๋ชจ์–ธ์–ด๋ชจ๋ธ(LLM)์˜ ํ™˜๊ฐ(hallucination) ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๋ชจ๋“ˆํ™”๋œ RAG ์ปดํฌ๋„ŒํŠธ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€์˜ ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ•œ๋‹ค.

Motivation

Achievement

Figure 2: Retrieval Probability (Abstract)
Figure 3: Retrieval Probability (Full-Text)
  1. ๋ฒค์น˜๋งˆํฌ ์„ฑ๋Šฅ ์šฐ์œ„:
    • PubMedQA(์ดˆ๋ก ๊ธฐ๋ฐ˜, ํ์‡„ํ˜•)์—์„œ GPT-4 ๋Œ€๋น„ 28.4% ์„ฑ๋Šฅ ํ–ฅ์ƒ (57.9% โ†’ 86.3%)
    • ์ œ์•ˆํ•œ LitQA ๋ฐ์ดํ„ฐ์…‹(์ „๋ฌธ ๋…ผ๋ฌธ ๊ธฐ๋ฐ˜ ๋ณตํ•ฉ ์งˆ๋ฌธ)์—์„œ ๋ชจ๋“  ํ…Œ์ŠคํŠธ๋œ ๋ชจ๋ธ ๋ฐ ์ƒ์šฉ ๋„๊ตฌ ๋Šฅ๊ฐ€
  2. ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€ ๋‹ฌ์„ฑ:
    • LitQA์—์„œ ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€์™€ ๋™๋“ฑํ•œ ์„ฑ๋Šฅ ๋ฐ ์†Œ์š” ์‹œ๊ฐ„ ๋‹ฌ์„ฑ
    • ์ƒ์—…์  ๋น„์šฉ ๋Œ€๋น„ ํ›จ์”ฌ ์ €๋ ดํ•œ ์šด์˜ ๋น„์šฉ
  3. ๊ฐœ์„ ๋œ ์ง€์‹ ๊ฒฝ๊ณ„(knowledge boundary):
    • ๊ฒฝ์Ÿ ๋„๊ตฌ ๋Œ€๋น„ ๋” ๋‚ฎ์€ ์˜ค๋ฅ˜์œจ๋กœ ๋ถ€์ •ํ™•ํ•œ ๋‹ต๋ณ€ ์ œ์‹œ
    • "๋ถˆํ™•์‹คํ•จ" ์‘๋‹ต ๋น„์œจ ์ฆ๊ฐ€๋กœ ์‹ ๋ขฐ์„ฑ ๊ฐ•ํ™”
  4. ์ตœ์‹  ์ •๋ณด ์ฒ˜๋ฆฌ:
    • ์‚ฌ์ „ํ•™์Šต ๋ฐ์ดํ„ฐ ์ดํ›„ ๋ฐœํ‘œ๋œ ๋…ผ๋ฌธ ์ •๋ณด ํ™œ์šฉ ๊ฐ€๋Šฅ

How

Originality

Limitation & Further Study

Evaluation

์ดํ‰: PaperQA๋Š” ๋ชจ๋“ˆํ™”๋œ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ RAG๋ฅผ ํ†ตํ•ด ๊ณผํ•™ ๋ฌธํ—Œ ๊ธฐ๋ฐ˜ ์งˆ๋‹ต์—์„œ ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€์˜ ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ•œ ์‹ค์งˆ์  ๊ธฐ์—ฌ๋กœ, LitQA๋ผ๋Š” ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ ๋„์ž…์œผ๋กœ ๋ถ„์•ผ ๋ฐœ์ „์— ์ด‰๋งค ์—ญํ• ์„ ํ•  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€๋œ๋‹ค. ๋‹ค๋งŒ ์™ธ๋ถ€ API ์˜์กด์„ฑ๊ณผ ๊ณ„์‚ฐ ๋น„์šฉ ์ตœ์ ํ™” ์ธก๋ฉด์—์„œ์˜ ์ถ”๊ฐ€ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Retrieval-Augmented Generation for Large Language Models ๋…ผ๋ฌธ์€ PaperQA๊ฐ€ ํ™œ์šฉํ•˜๋Š” retrieval-augmented generation์˜ ์ด๋ก ์  ๋ฐฐ๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
PaperQA๋Š” ๊ณผํ•™ ๋ฌธํ—Œ ๊ฒ€์ƒ‰ ๋ฐ ์š”์•ฝ์„ ์œ„ํ•œ ์ดˆ๊ธฐ retrieval-augmented LLM ๊ธฐ๋ฐ˜ ์—์ด์ „ํŠธ๋กœ, PaperQA2 ๊ฐœ๋ฐœ์˜ ๊ธฐ์ˆ ์  ์ถœ๋ฐœ์ ์ด ๋œ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
RAG(๊ฒ€์ƒ‰์ฆ๊ฐ•์ƒ์„ฑ)์— ๊ธฐ๋ฐ˜ํ•œ ํ•™์ˆ ์  ์งˆ์˜ ์‘๋‹ต ์‹œ์Šคํ…œ์œผ๋กœ, Agent-enhanced LLM์— ์ ์šฉ ๊ฐ€๋Šฅํ•œ ๊ฒ€์ƒ‰ ๋ฐ ์š”์•ฝ ์ „๋žต์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Agent-RAG ๋ฐฉ์‹์„ ํ™œ์šฉํ•œ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต์—์„œ LLM์˜ ๋ฌธ์„œ ์ดํ•ด๋ ฅ ํ•œ๊ณ„์™€ ๊ฐ€๋Šฅ์„ฑ์„ ๋น„๊ตํ•œ ์—ฐ๊ตฌ์—ฌ์„œ ์„œ๋กœ ๋‹ค์–‘ํ•œ ์ฝ”๋”ฉ/๋ถ„์„ ์—…๋ฌด ์ˆ˜ํ–‰๋Šฅ๋ ฅ ๋น„๊ต์— ๋„์›€์„ ์ค๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
602๋ฒˆ PaperQA๋Š” ๊ฒ€์ƒ‰ ์ฆ๊ฐ• LLM ๊ธฐ๋ฐ˜์˜ ๊ณผํ•™์  ์งˆ์˜์‘๋‹ต ์‹œ์Šคํ…œ์„ ์ œ์•ˆํ•˜์—ฌ, 593๋ฒˆ OpenScholar์™€ ์œ ์‚ฌํ•œ ๋ชฉํ‘œ์ด์ง€๋งŒ ์•„ํ‚คํ…์ฒ˜์™€ ์‹คํ—˜์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™์  ์žฅ๋ฌธ ์ž‘์„ฑ์—์„œ RAG ๊ธฐ๋ฐ˜ ์ƒ์„ฑํ˜• ์—์ด์ „ํŠธ(PaperQA)๋กœ, ์œ„ํ‚ค ์ˆ˜์ค€ ๊ธฐ์‚ฌ ์ž‘์„ฑ์„ ์œ„ํ•œ ์ •๋ณด ์ˆ˜์ง‘๊ณผ ํ•ฉ์„ฑ ๋ฌธ์ œ์— ์„œ๋กœ ๋‹ค๋ฅธ ์ ‘๊ทผ์„ ์ทจํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
PaperQA๋Š” ๊ณผํ•™์  ์งˆ์˜์‘๋‹ต์—์„œ RAG ๊ธฐ๋ฐ˜ LLM ์ฆ๊ฑฐ ๊ฒ€์ƒ‰ ๊ฐ•ํ™” ๊ธฐ๋ฒ•์„ ์ œ์•ˆํ•˜์—ฌ, ๊ฑด๊ฐ• QA์— ํŠนํ™”๋œ ๋ณธ ๋…ผ๋ฌธ์˜ ๋ฐฉ๋ฒ•๊ณผ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
602๋Š” ๋…ผ๋ฌธ ๊ฒ€์ƒ‰์— RAG ๊ธฐ๋ฐ˜ ์—์ด์ „ํŠธ๋ฅผ ๋„์ž…ํ•ด ๊ฒ€์ƒ‰๊ฒฐ๊ณผ๋ฅผ ์ฒด๊ณ„์ ์œผ๋กœ ์š”์•ฝยท์ •๋ ฌํ•˜๋Š” ์ ‘๊ทผ์œผ๋กœ, 450 ๋…ผ๋ฌธ์˜ LLM+ํด๋Ÿฌ์Šคํ„ฐ ๋ฐฉ๋ฒ•๊ณผ ์œ ์‚ฌ ๋ชฉ์ ์˜ ๋‹ค๋ฅธ ๋ฐฉ์‹์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™์  ์งˆ์˜์‘๋‹ต ์ƒ์„ฑ์— retrieval+generation ์—์ด์ „ํŠธ ๊ตฌ์กฐ๋ฅผ ์ ์šฉ, ๋ฐ์ดํ„ฐ ์ฃผ์„ ๊ฐ€์† ๋ชฉ์ ์—์„œ์˜ ๋‹ค์–‘ํ•œ agentic ์ „๋žต์„ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
From large language models to multimodal AI: A scoping review ๋…ผ๋ฌธ์€ PaperQA ์‹œ์Šคํ…œ์ด ์‹ค์ œ ๊ณผํ•™ ์—ฐ๊ตฌ ์ž„๋ฌด์— ์–ด๋–ป๊ฒŒ ์ ์šฉ๋˜๋Š”์ง€ ๊ณ ์ฐฐํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
PaSa๋Š” LLM ๊ธฐ๋ฐ˜ ์—์ด์ „ํŠธ์˜ ๋…ผ๋ฌธ ๊ฒ€์ƒ‰ ์ž๋™ํ™”์— ์ค‘์ ์„ ๋‘์–ด, PaperQA์˜ ์งˆ์˜์‘๋‹ต ์‹œ์Šคํ…œ๊ณผ ๋น„๊ต๋˜๋Š” ๊ฒ€์ƒ‰ ํŠนํ™” ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™๋…ผ๋ฌธ์—์„œ Retrieval-Augmented Generation ๊ธฐ๋ฒ•์„ ๋‹ค์–‘ํ•œ ๋ฐฉ์‹์œผ๋กœ ์ ์šฉํ•˜๋ฏ€๋กœ, Future Work ์ž๋™ ์ƒ์„ฑ๊ณผ ๊ฐ™์€ downstream task์™€์˜ ์‘์šฉ ๋น„๊ต์— ์ ํ•ฉํ•จ.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™๋…ผ๋ฌธ QA์™€ RAG ๊ตฌ์กฐ๋ฅผ ๋‹ค๋ฃจ์ง€๋งŒ HiPerRAG ๋Œ€์‹  PaperQA๋Š” ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ์„ ํ†ตํ•ด ์ฆ๊ฑฐ ์ถ”์ถœ๊ณผ ๋‹ต๋ณ€์„ ๋‹ค๋ฃจ์–ด, ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๊ทœ๋ชจ ๋ฐ ๊ตฌ์กฐ์  ์ธก๋ฉด์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
602 ๋˜ํ•œ RAG ๊ธฐ๋ฐ˜ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต ์‹œ์Šคํ…œ์œผ๋กœ, 087๊ณผ ๋‹ค๋ฅด๊ฒŒ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ์„ ์‹œ๋„ํ•ด ์„œ๋กœ ๋น„๊ต ๊ฐ€๋Šฅํ•˜๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™ ๋ฌธํ—Œ ๊ฒ€์ƒ‰ยท์š”์•ฝ์— Retrieval-Augmented Generation(RAG)์„ ํ”„๋ ˆ์ž„์›Œํฌ๋กœ ์ ์šฉํ•œ ์‚ฌ๋ก€๋กœ, XSum๊ณผ์˜ ๊ตฌ์กฐ์  ์ฐจ์ด๋ฅผ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
602 ๋…ผ๋ฌธ์€ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต์„ ์œ„ํ•œ RAG ๊ธฐ๋ฐ˜ ์ƒ์„ฑํ˜• ์‹œ์Šคํ…œ์„ ์ œ์•ˆํ•ด, 702์˜ ํ•™์ˆ ์  ์ •๋ณด ๊ฒ€์ƒ‰ ๋ฐ ์ธ์šฉ ๊ธฐ๋Šฅ์— ๋‹ค๋ฅธ ์ ‘๊ทผ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
602๋ฒˆ ๋…ผ๋ฌธ์€ ๊ณผํ•™ ๋ฌธํ—Œ์˜ ๊ฒ€์ƒ‰ ๋ฐ RAG ๋ฐฉ์‹์„ ํ™œ์šฉํ•ด, 569๋ฒˆ์˜ ๋‚˜๋…ธ์žฌ๋ฃŒ ์„ค๊ณ„ RAG ์‹œ์Šคํ…œ๊ณผ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM ๊ธฐ๋ฐ˜ ๋ฌธํ—Œ ๊ฒ€์ƒ‰ ๋ฐ ๋ถ„์„ ํŒŒ์ดํ”„๋ผ์ธ์˜ ์œ ์‚ฌํ•œ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฅด๊ฒŒ ์ ‘๊ทผํ•œ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
PaperQA ๋…ผ๋ฌธ์€ ๊ณผํ•™์  ์ฃผ์žฅ์— ๋Œ€ํ•œ ๊ฒ€์ƒ‰ ์ฆ๊ฐ• ์ƒ์„ฑ ๋ฐฉ์‹์œผ๋กœ Multivers์˜ ์ „์ฒด๋งฅ๋ฝ ์ฆ๊ฑฐ ํ™œ์šฉ ๊ฐœ๋…์„ ๋”์šฑ ๊ณ ๋„ํ™”ํ•œ ์‹ค์ œ์  ํ™•์žฅ์ž…๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
602๋Š” ๋…ผ๋ฌธ ๊ธฐ๋ฐ˜ ์งˆ์˜์‘๋‹ต์„ RAG ํ”„๋ ˆ์ž„์›Œํฌ๋กœ ๊ตฌํ˜„, 730์ด ์ƒ์„ฑํ•œ QA ๋ฐ์ดํ„ฐ๋ฅผ ์‹ค์ œ ์‹œ์Šคํ…œ์— ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
Language agents achieve superhuman synthesis ๋…ผ๋ฌธ์€ PaperQA์˜ retrieval-augmented ์—์ด์ „ํŠธ ๊ฐœ๋…์„ ๊ณ ๋„ํ™”ํ•˜์—ฌ ๋ฐ•์‚ฌ ์ˆ˜์ค€ ๊ณผํ•™ ์š”์•ฝ๊ณผ ๋ชจ์ˆœ ํƒ์ง€๊นŒ์ง€ ํ™•์žฅํ•œ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๊ณผํ•™ ๋ถ„์•ผ LLM ๋ฒค์น˜๋งˆํฌ๋ฅผ ํŠน์ • ๋„๋ฉ”์ธ ์ง€์‹ ํ‰๊ฐ€๋กœ ํ™•์žฅํ•˜๋Š” ์—ฐ๊ตฌ์ด๋‹ค
ํ›„์† ์—ฐ๊ตฌ
602๋ฒˆ์€ ๊ณผํ•™ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต ๋ฐ ์ •๋ณด ์ถ”์ถœ์— Retrieval-Augmented Generation์„ ์ ์šฉํ•˜๋ฉด์„œ, 224๋ฒˆ CLEAR ํŒŒ์ดํ”„๋ผ์ธ๊ณผ ์ ‘๋ชฉ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
PaperQA ๋…ผ๋ฌธ์€ RAG ๊ธฐ๋ฐ˜ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต ์‹œ์Šคํ…œ์„ ํ†ตํ•ด ๋…ผ๋ฌธ ๋‚ด์šฉ์˜ ์˜๋ฏธ์  ์ดํ•ด ๋ฐ ์˜ํ–ฅ๋ ฅ ํŒ๋‹จ์œผ๋กœ MIRAI์˜ ์ž๋™ ์˜ํ–ฅ๋ ฅ ์˜ˆ์ธก ๊ธฐ๋Šฅ์„ ์‹ค์ œ ์‘์šฉ์œผ๋กœ ํ™•์žฅํ•œ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
PaperQA๋Š” ํ•™์ˆ  ๋ฌธํ—Œ ๊ฒ€์ƒ‰์— retrieval-augmented generation(RAG) ์‹œ์Šคํ…œ์„ ์ ์šฉํ•˜์—ฌ SPLADE ๋ฐฉ์‹์˜ ์‹ค์ œ ์‚ฌ์šฉ์„ ๋ณด์—ฌ์ค€๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
PaperQA๋Š” RAG ๊ธฐ๋ฐ˜ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์„ ์‹ค์ œ ๋…ผ๋ฌธ ์งˆ์˜์‘๋‹ต์— ์ ์šฉํ•œ ์‚ฌ๋ก€๋กœ, ์‹ค์šฉ์  ํ™œ์šฉ ๋ฐฉ์•ˆ์„ ๋‹ค๋ฃฌ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •