LLMs can realize combinatorial creativity: generating creative ideas via LLMs for scientific research

์ €์ž: Tianyang Gu, Jingjin Wang, Zhihao Zhang, HaoHong Li | ๋‚ ์งœ: 2024 | DOI: arXiv:2412.14141v2 📄 PDF


Essence

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์ด Boden์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ(combinatorial creativity) ์ด๋ก ์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ ๊ณผํ•™ ์•„์ด๋””์–ด๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค€๋‹ค. ์ผ๋ฐ˜ํ™” ์ˆ˜์ค€์˜ ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ๊ณผ ๊ตฌ์กฐํ™”๋œ ์กฐํ•ฉ ํ”„๋กœ์„ธ์Šค๋ฅผ ํ†ตํ•ด LLM์ด ์ด๋ก ์ ์œผ๋กœ ๊ทผ๊ฑฐ ์žˆ๋Š” ์ฐฝ์˜์  ์•„์ด๋””์–ด ์ƒ์„ฑ์„ ์‹คํ˜„ํ•  ์ˆ˜ ์žˆ์Œ์„ ์‹ค์ฆํ•œ๋‹ค.

Motivation

Achievement

Figure 1

๊ทธ๋ฆผ 1: ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ์—์ด์ „ํŠธ ํ•ต์‹ฌ ๊ตฌ์กฐ

Figure 2

๊ทธ๋ฆผ 2: ๋ฐ˜๊ตฌ์กฐํ™”๋œ ์•„์ด๋””์–ด ๋ฐ์ดํ„ฐ ํฌ๋งท๊ณผ ์ˆ˜์ค€๋ณ„ ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ

  1. ์ด๋ก ์  ์ •ํ•ฉ์„ฑ: Boden์˜ ์ฐฝ์˜์„ฑ ์ด๋ก ๊ณผ "๋„ค ๊ฐ€์ง€ P(Four P's)" ํ”„๋ ˆ์ž„์›Œํฌ(Person, Process, Product, Press)๋ฅผ LLM ์‹œ์Šคํ…œ์— ์ง์ ‘ ๋งคํ•‘ํ•˜์—ฌ ์ด๋ก ๊ณผ ์‹ค์ œ ๊ตฌํ˜„์˜ ๊ฐ„๊ทน ํ•ด์†Œ.
  2. ์‹ค์ฆ์  ์„ฑ๊ณผ: OAG-Bench ๋ฐ์ดํ„ฐ์…‹์—์„œ ๊ธฐ์กด ๊ธฐ์ค€ ๋ฐฉ์‹ ๋Œ€๋น„ ์œ ์‚ฌ๋„ ์ ์ˆ˜ 7%-10% ํ–ฅ์ƒ, ์‹ค์ œ ์—ฐ๊ตฌ ๋ฐœ์ „๊ณผ ์ผ์น˜ํ•˜๋Š” ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ ์ž…์ฆ.
  3. ํ‰๊ฐ€ ๋ฐฉ๋ฒ•๋ก  ๊ฐœ์„ : ๋‹จ์ˆœ ์˜๋ฏธ๋ก ์  ์œ ์‚ฌ์„ฑ์„ ๋„˜์–ด ์—ญ์‚ฌ์  ๊ณผํ•™ ๋ฐœ์ „๊ณผ์˜ ์ •๋ ฌ์„ฑ์„ ํ†ตํ•ด ์ฐฝ์˜์„ฑ ํ‰๊ฐ€์˜ ๊ฐ๊ด€์„ฑ ๊ฐ•ํ™”.

How

Figure 3

๊ทธ๋ฆผ 3: ์ œ์•ˆ ํ”„๋ ˆ์ž„์›Œํฌ์™€ ๊ธฐ์ค€ ๋ฐฉ์‹์˜ ์œ ์‚ฌ๋„ ์ ์ˆ˜ ๋น„๊ต ๋ถ„์„

Originality

Limitation & Further Study

Evaluation

Novelty: 4.5/5 Technical Soundness: 4/5 Significance: 4.5/5 Clarity: 4/5 Overall: 4.2/5

์ดํ‰: ๋ณธ ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ์•„์ด๋””์–ด ์ƒ์„ฑ์— ์ฐฝ์˜์„ฑ ์ด๋ก ์„ ์˜๋„์ ์œผ๋กœ ์ ์šฉํ•œ ์ ์—์„œ ์ด๋ก ๊ณผ ์‹ค์ œ์˜ ๊ฐ„๊ทน์„ ์ขํžˆ๋Š” ์˜๋ฏธ ์žˆ๋Š” ๊ธฐ์—ฌ๋ฅผ ํ•˜๊ณ  ์žˆ์œผ๋‚˜, ํ‰๊ฐ€ ๋ฐฉ๋ฒ•๋ก ์˜ ์ œ์•ฝ๊ณผ ์‹ค์ œ ๊ณผํ•™์  ์ž„ํŒฉํŠธ ๊ฒ€์ฆ ๋ถ€์กฑ์ด ํ•œ๊ณ„์ด๋‹ค. ํ–ฅํ›„ ๋‹ค์ค‘ ๋„๋ฉ”์ธ ๊ฒ€์ฆ๊ณผ ๋ฏธ๋ž˜ ๊ฐ€์น˜ ํŒ๋‹จ ๋ฉ”์ปค๋‹ˆ์ฆ˜์˜ ๊ฐœ๋ฐœ์ด ๋…ผ๋ฌธ์˜ ์˜ํ–ฅ๋ ฅ์„ ๋”์šฑ ๋†’์ผ ์ˆ˜ ์žˆ์„ ๊ฒƒ์œผ๋กœ ์˜ˆ์ƒ๋œ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
๋‹ค์ค‘ ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ํ‰๊ฐ€๋ฅผ ํ†ตํ•ด LLM์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ๊ณผ ์‹ค์ œ ์•„์ด๋””์–ด ํ’ˆ์งˆ ํŒ๋ณ„ ๊ธฐ์ค€์„ ๋ณด๋‹ค ์‹ฌํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
LLMs can realize combinatorial creativity ๋…ผ๋ฌธ์€ LLM์˜ ์กฐํ•ฉ ์ฐฝ์˜์„ฑ ํ•œ๊ณ„, ๋‹ค์–‘์„ฑ ์ด์Šˆ ๋“ฑ์„ ๊ธฐ์ˆ ์ ์œผ๋กœ ๋ถ„์„ํ•ด 565์˜ ๋‹ค์–‘์„ฑ/์‹ ๊ทœ์„ฑ ์ฆ์ง„ ์‹œ๋„์— ์ด๋ก ์  ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
LLMs can realize combinatorial creativity ๋…ผ๋ฌธ์€ LLM์˜ ์ฐฝ์˜์  ๊ฐœ๋… ์กฐํ•ฉ ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•˜์—ฌ, Spacer๊ฐ€ ์ฃผ์žฅํ•˜๋Š” ์ƒˆ๋กœ์šด ๊ณผํ•™์  ์—ฐ๊ฒฐ ๋ฐœ๊ตด์˜ ์ด๋ก ์  ๋ฐฐ๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
509 ๋…ผ๋ฌธ์€ LLM์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ์ธก์ • ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ๊ณตํ•˜์—ฌ ๋ถ„์ž ์ƒ์„ฑ ํ‰๊ฐ€(3131)์˜ ๋ฐฉ๋ฒ•๋ก ์  ๋ฐฐ๊ฒฝ์ด ๋ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
509๋Š” LLM์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ๊ธฐ๋ฐ˜ ํ…์ŠคํŠธ ์ƒ์„ฑ ์‹คํ—˜์„ ๋‹ค๋ฃจ์–ด, 886์˜ ์ธ๊ฐ„-AI ํ˜‘์—… ์ฐฝ์ž‘ ๋ชจ๋ธ๊ณผ ๋น„๊ตํ•  ๋งŒํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ๋ฐ ๋‚ด์šฉ ๋‹ค์–‘์„ฑ ์ƒ์„ฑ ๋ฐฉ๋ฒ•์— ๊ด€ํ•œ ์ƒˆ๋กœ์šด ๊ด€์ ์„ ์ œ์‹œํ•˜์—ฌ, 284์˜ '๋‹ค์–‘์„ฑ ์ €ํ•˜' ๋ฐœ๊ฒฌ์„ ๋ฐ˜๋ก€๋กœ ์—ฐ๊ฒฐ์‹œ์ผœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
AI์˜ ์ฐฝ์˜์  ๋Šฅ๋ ฅ์„ ์ธ๊ฐ„๊ณผ ๋น„๊ต ํ‰๊ฐ€ํ•˜๋Š” ๋™์ผํ•œ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃฌ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋‹ค์ค‘ LLM ํ™œ์šฉ ์•„์ด๋””์–ด ์ƒ์„ฑ ๋ฐฉ์‹์œผ๋กœ, ๋‹จ์ผ LLM ๊ธฐ๋ฐ˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ๊ณผ์˜ ์‹œ๋„ˆ์ง€๋ฅผ ๊ฒ€ํ† ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์—ฐ๊ตฌ ์•„์ด๋””์–ด ์ƒ์„ฑ์— LLM์˜ ์ฐฝ์˜์  ๊ฒฐํ•ฉ(Chain of Ideas)์— ์ดˆ์ ์„ ๋งž์ถ”์–ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ๋ฌธ์ œ์‹ ๊ณต์œ .
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM ๊ธฐ๋ฐ˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ์•„์ด๋””์–ด ์ƒ์„ฑ์œผ๋กœ, ๊ทธ๋ž˜ํ”„ ๋ถ„ํ•ด ๋Œ€์‹  ๊ตฌ์กฐ์  ์กฐํ•ฉ์„ ์„ค๋ช…ํ•˜๋ฏ€๋กœ ์ ‘๊ทผ๋ฒ•์˜ ์ฐจ์ด๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM ๊ธฐ๋ฐ˜ ์ฐฝ์˜์„ฑ, ๋‹ค์–‘์„ฑ ์ƒ์„ฑ ๋Šฅ๋ ฅ ๊ด€๋ จ ์—ฐ๊ตฌ๋กœ, ์ƒ์„ฑ์  ์•„์ด๋””์–ด์˜ ๋…์ฐฝ์„ฑ๊ณผ ๋‹ค์–‘์„ฑ์„ ์ธก์ •ํ•˜๋Š” ๋งฅ๋ฝ์—์„œ ๋น„๊ต ๊ฐ€๋Šฅํ•˜๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLMs can realize combinatorial creativity ๋…ผ๋ฌธ์€ LLM์ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ์„ ์ž๋™ ํ‰๊ฐ€ํ•˜๋Š” ๋‹ค์–‘ํ•œ ๋ฐฉ๋ฒ•๋ก ์„ ๋ถ„์„ํ•ด AI ์ƒ์„ฑ ์—ฐ๊ตฌ ์•„์ด๋””์–ด ํ˜์‹ ์„ฑ ํ‰๊ฐ€ ๋ชฉ์ ๊ณผ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์˜ combinatorial creativity์™€ ์•„์ด๋””์–ด ์ƒ์„ฑ๋ ฅ์„ ํ‰๊ฐ€ํ•˜๋ฉฐ, ์ฐฝ์˜์„ฑ ์ถ”๋ก  ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๋ถ„์„์— ์ฐธ๊ณ ํ•  ๋งŒํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ๋ฐœํ˜„ ์ธก๋ฉด์—์„œ LLM์„ ํ†ตํ•œ ์ฐฝ์˜์  ๋ฌธ์ œ ์ƒ์„ฑ ๋…ผ์˜๊ฐ€ Idea-Catalyst์™€ ์ƒํ˜ธ ๋Œ€์กฐ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
509 ๋…ผ๋ฌธ์€ LLM์ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ์„ ์‹คํ˜„ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์‹ฌ์ธต ๋ถ„์„ํ•˜๋ฏ€๋กœ, 714์—์„œ ์ฃผ์žฅํ•˜๋Š” ๊ตฌ์กฐํ™”๋œ ์•„์ด๋””์–ด ์ƒ์„ฑ์˜ ์ด๋ก ์  ํ™•์žฅ์— ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
509 ๋…ผ๋ฌธ์€ LLM์ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ(์ƒˆ ๊ฐœ๋… ์ƒ์„ฑ)์„ ์‹คํ˜„ํ•  ์ˆ˜ ์žˆ๋Š”์ง€๋ฅผ ์ธก์ •ํ•ด, 753์˜ ํ™˜๊ฐ์  ์ƒ์ƒ๋ ฅ ๋…ผ์˜์— ์ •๋Ÿ‰์  ํ›„์† ๋ถ„์„์„ ๋”ํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
509์—์„œ LLM์˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ๊ณผ ์ƒˆ๋กœ์šด ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋Š” 904์—์„œ ๋…ผ์˜๋œ ๊ณผํ•™์  ๊ฒ€์ƒ‰ ๋ฐ ์•„์ด๋””์–ด ํƒ์ƒ‰์—์„œ์˜ ์ ์šฉ ์‹œ ์˜์™ธ์˜ ์ž ์žฌ๋ ฅ๊ณผ ๋ฆฌ์Šคํฌ๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๊ณผํ•™์  ์ฐฝ์˜์  ์•„์ด๋””์–ด ์ƒ์„ฑ์˜ ๋‹ค์–‘ํ•œ LLM ๊ธฐ๋ฐ˜ ์‹œ์Šคํ…œ๊ณผ ์‹คํ—˜ ๋ฒค์น˜๋งˆํฌ๋ฅผ ๋‹ค๋ฃจ์–ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ์ด๋ก ์˜ ์‹ค์ œ ํ™•์žฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
ํ† ํฐยท๋ฌธ๋งฅ ์ •๋ณด์™€ ๊ตฌ์กฐ์  ํ˜์‹ ์„ฑ์„ ๊ฒฐํ•ฉํ•œ ์•„์ด๋””์–ด ์ƒ์„ฑ ์‹œ์Šคํ…œ์œผ๋กœ, ์ฐฝ์˜์„ฑ์˜ ํ‰๊ฐ€์™€ ์กฐํ•ฉ ์›๋ฆฌ ์‹ค์ฆ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
509 ๋…ผ๋ฌธ์€ IRIS์™€ ์œ ์‚ฌํ•˜๊ฒŒ LLM์ด ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ์„ ์ ์šฉํ•ด ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ์„ ์‹ค์ฆ์ ์œผ๋กœ ์ž…์ฆํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
514(MAC-AMP)๋Š” LLM ๊ธฐ๋ฐ˜ ๋‹ค์ค‘์—์ด์ „ํŠธ ํ˜‘์—…์„ ํ†ตํ•œ ์•„์ด๋””์–ด ์ƒ์„ฑ ๋ฐ ์‹คํ—˜ ๊ฒ€์ฆ์„ ๊ณ ์ฐจ์›์ ์œผ๋กœ ์ž๋™ํ™”ํ•จ์œผ๋กœ์จ, 509์˜ ์ฐฝ์˜์„ฑ ์ด๋ก ์„ ์‹ค์ œ ํ˜„์žฅ์œผ๋กœ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
509 ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ์กฐํ•ฉ์  ์ฐฝ์˜์„ฑ ๋ฐ ์‹คํ—˜์  ์ƒ์„ฑ ๋Šฅ๋ ฅ์„ ๋ถ„์„ํ•ด, 3045์˜ ๊ตฌ์กฐยท๊ธฐ๋Šฅ ์ถ”๋ก  LLM ์„ฑ๊ณผ๋ฅผ ์‹ค์งˆ์  ์ฐฝ์˜์„ฑ๊ณผ ์—ฐ๊ณ„ํ•ด์ค€๋‹ค.
๋ฐ˜๋ก /๋น„ํŒ
509๋ฒˆ ๋…ผ๋ฌธ์€ LLM์ด ์ƒ์„ฑ์  ์ฐฝ์˜์  ์•„์ด๋””์–ด ์‚ฐ์ถœ์— ์„ฑ๊ณต์ ์ž„์„ ๋ณด์ด๋ฉฐ, 752๋ฒˆ์˜ ์–•์€ ์ข…ํ•ฉ์„ฑ ํ•œ๊ณ„์™€ ๋น„๊ตํ•ด ๋ณผ ์ˆ˜ ์žˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •