Liveideabench: Evaluating llms' scientific creativity and idea generation with minimal context

์ €์ž: Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun | ๋‚ ์งœ: 2024 | DOI: N/A


Essence

Figure 1

LiveIdeaBench์˜ ์ „์ฒด ์„ค๊ณ„: (a) 1,000๊ฐœ ์ด์ƒ์˜ ๊ณผํ•™ ํ‚ค์›Œ๋“œ๋ฅผ ์‚ฌ์šฉํ•œ ๋ฐœ์‚ฐ์  ์‚ฌ๊ณ  ์ด‰์ง„, (b) ํŒ์ • LLM์ด 5๊ฐ€์ง€ ์ฐจ์›์œผ๋กœ ํ‰๊ฐ€, (c) ์ƒ์œ„ 10๊ฐœ ์ตœ์ฒจ๋‹จ ๋ชจ๋ธ๋กœ ๊ตฌ์„ฑ๋œ ๋™์  ํ‰๊ฐ€ ํŒจ๋„, (d-f) Guilford ์ฐฝ์˜์„ฑ ์ด๋ก  ๊ธฐ๋ฐ˜ 5๊ฐ€์ง€ ์ฐจ์› ํ‰๊ฐ€ ๋ฐฉ๋ฒ•๋ก 

๋ณธ ๋…ผ๋ฌธ์€ ์ตœ์†Œํ•œ์˜ ๋งฅ๋ฝ(๋‹จ์ผ ํ‚ค์›Œ๋“œ)์„ ์‚ฌ์šฉํ•˜์—ฌ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์˜ ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ๊ณผ ๋ฐœ์‚ฐ์  ์‚ฌ๊ณ (divergent thinking) ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•˜๋Š” ํฌ๊ด„์ ์ธ ๋ฒค์น˜๋งˆํฌ LiveIdeaBench๋ฅผ ์ œ์‹œํ•œ๋‹ค. 40๊ฐœ ์ด์ƒ์˜ ๋ชจ๋ธ์„ 22๊ฐœ ๊ณผํ•™ ๋ถ„์•ผ์˜ 1,180๊ฐœ ํ‚ค์›Œ๋“œ๋กœ ํ‰๊ฐ€ํ•œ ๊ฒฐ๊ณผ, ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ์ด ์ผ๋ฐ˜ ์ง€๋Šฅ ์ ์ˆ˜๋กœ ์ž˜ ์˜ˆ์ธก๋˜์ง€ ์•Š์Œ์„ ๋ณด์—ฌ์ค€๋‹ค.

Motivation

Achievement

Figure 2

LiveIdeaBench์—์„œ์˜ ๋ชจ๋ธ ์„ฑ๋Šฅ ๋น„๊ต: (a) ๊ฐœ๋ฐฉ ๊ฐ€์ค‘์น˜ ๋ฐ ๋…์  ๋ชจ๋ธ์˜ 5๊ฐ€์ง€ ์ฐจ์›๋ณ„ ์ ์ˆ˜ ๋ฐ ์ „์ฒด ์„ฑ๋Šฅ, (b) ์ฃผ์š” ๋ชจ๋ธ๋“ค์˜ ๋‹ค์ฐจ์› ์„ฑ๋Šฅ ํ”„๋กœํ•„, (c) ๊ณผํ•™ ํ‚ค์›Œ๋“œ์˜ ์›Œ๋“œํด๋ผ์šฐ๋“œ

  1. ์ผ๋ฐ˜ ์ง€๋Šฅ๊ณผ ์ฐฝ์˜์„ฑ์˜ ๋…๋ฆฝ์„ฑ ์‹ค์ฆ: QwQ-32B-preview๋Š” ์ผ๋ฐ˜ ์ง€๋Šฅ ์ ์ˆ˜์—์„œ claude-3.5-sonnet:thinking๋ณด๋‹ค ํ˜„์ €ํžˆ ๋‚ฎ์Œ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ์˜ ์ฐฝ์˜์  ์„ฑ๋Šฅ์—์„œ ๋น„๊ต ๊ฐ€๋Šฅํ•œ ์ˆ˜์ค€์„ ๋‹ฌ์„ฑํ–ˆ๋‹ค. ์ด๋Š” threshold theory๋ฅผ LLM ๋งฅ๋ฝ์—์„œ ์‹ค์ฆ์ ์œผ๋กœ ์ง€์ง€ํ•œ๋‹ค.
  2. ํฌ๊ด„์  ๋ฒค์น˜๋งˆํฌ ๊ตฌ์ถ•: 22๊ฐœ ๊ณผํ•™ ๋ถ„์•ผ์— ๊ฑธ์นœ 1,180๊ฐœ ํ‚ค์›Œ๋“œ๋กœ 40๊ฐœ ์ด์ƒ์˜ ๋ชจ๋ธ์„ ํ‰๊ฐ€ํ•˜์—ฌ, ์ผ๋ฐ˜ ์ง€๋Šฅ ์ ์ˆ˜๋กœ ์„ค๋ช…๋˜์ง€ ์•Š๋Š” ์ฐฝ์˜์„ฑ์˜ ๋ณ€๋™์„ฑ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๋ฌธ์„œํ™”ํ–ˆ๋‹ค.
  3. ์ฐฝ์˜์„ฑ๊ณผ ์ง€๋Šฅ์˜ ๋‹ค๋ฅธ ๋ฐœ๋‹ฌ ๊ฒฝ๋กœ ๋ฐœ๊ฒฌ: ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ์ด ์ผ๋ฐ˜ ๋ฌธ์ œ ํ•ด๊ฒฐ ๋Šฅ๋ ฅ๊ณผ ๋‹ค๋ฅธ ํ›ˆ๋ จ ์ „๋žต์œผ๋กœ ํ–ฅ์ƒ๋  ๊ฐ€๋Šฅ์„ฑ์„ ์‹œ์‚ฌํ•œ๋‹ค.

How

Figure 3

๊ณผํ•™ ๋ถ„๋ฅ˜๋ณ„ LiveIdeaBench์˜ ๋ชจ๋ธ ์„ฑ๋Šฅ: ๋‹ค์–‘ํ•œ ๊ณผํ•™ ์˜์—ญ(๋ฌผ๋ฆฌํ•™, ํ™”ํ•™, ์ƒ๋ฌผํ•™ ๋“ฑ)์—์„œ ํ‰๊ท  ์„ฑ๋Šฅ์„ ์‹œ๊ฐํ™”ํ•œ ํžˆํŠธ๋งต

Originality

Limitation & Further Study

Evaluation

์ดํ‰: LiveIdeaBench๋Š” LLM์˜ ๊ณผํ•™์  ์ฐฝ์˜์„ฑ ํ‰๊ฐ€์— ์ƒˆ๋กœ์šด ๊ด€์ ์„ ์ œ์‹œํ•˜๋ฉฐ, ์ผ๋ฐ˜ ์ง€๋Šฅ๊ณผ ์ฐฝ์˜์„ฑ์˜ ๋…๋ฆฝ์„ฑ์„ ์‹ค์ฆํ•œ ์˜๋ฏธ ์žˆ๋Š” ๋ฒค์น˜๋งˆํฌ๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€์˜ ์ตœ์†Œ ๋งฅ๋ฝํ™”, ํŒ์ •์ž ํŽธํ–ฅ, ์‹ค์ œ ๊ณผํ•™ ์„ฑ๊ณผ๋กœ์˜ ์—ฐ๊ฒฐ ๊ณ ๋ฆฌ ๋“ฑ ์—ฌ๋Ÿฌ ํ•œ๊ณ„๊ฐ€ ์žˆ์–ด ์ถ”๊ฐ€ ๊ฒ€์ฆ๊ณผ ๊ฐœ์„ ์ด ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
494๋Š” ๊ณผํ•™์  ์ฐฝ์˜์„ฑ๊ณผ ์•„์ด๋””์—์ด์…˜ ์ธก์ • ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜์—ฌ, SciReviewGen(732) ๋ฐ์ดํ„ฐ์…‹์ด ํ‰๊ฐ€๋˜๋Š” ๋ฐฉ๋ฒ•๋ก ์  ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
Liveideabench(494)๋Š” LLM์˜ ๊ณผํ•™์  ์ฐฝ์˜์„ฑยท์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ๋ฒค์น˜๋งˆํฌ๋กœ, 729์˜ ํ•ต์‹ฌ ํ‰๊ฐ€ ์ง€์ ์— ์ง์ ‘์  ๊ธฐ๋ฐ˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
187 ๋…ผ๋ฌธ์€ LLM์ด ์‹ค์ œ๋กœ ์ƒˆ๋กœ์šด ์—ฐ๊ตฌ ์•„์ด๋””์–ด๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ๋Œ€๊ทœ๋ชจ ์ธ๋ ฅ ํ‰๊ฐ€๋ฅผ ํ†ตํ•ด ๋‹ค๋ฃจ์–ด, 494์˜ ๋ฒค์น˜๋งˆํ‚น ๋„๊ตฌ ๊ฐœ๋ฐœ๊ณผ ํ‰๊ฐ€์— ์ด๋ก ยท์‹คํ—˜ ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋™์ผํ•œ AUT ์ฐฝ์˜์„ฑ ๊ณผ์ œ์—์„œ AI์™€ ์ธ๊ฐ„์˜ ์„ฑ๋Šฅ์„ ๋น„๊ตํ•˜๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ ์ ‘๊ทผ๋ฒ•์„ ์ทจํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
494 ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™์  ์•„์ด๋””์–ด ๋ฐ ์ฐฝ์˜์„ฑ ํ‰๊ฐ€์— ์ดˆ์ ์„ ๋‘” ๋Œ€์•ˆ์  ์ž๋™ํ™” ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LiveIdeaBench๋Š” LLM์ด ์ฐฝ์˜์  ์—ฐ๊ตฌ ์•„์ด๋””์–ด๋ฅผ ์–ผ๋งˆ๋‚˜ ์ž˜ ์ƒ์„ฑํ•˜๋Š”์ง€ ์‹คํ—˜, ํ‰๊ฐ€ํ•˜๋Š” ๋‹ค๋ฅธ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ๋ฒ•์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
762๋ฒˆ ๋…ผ๋ฌธ์€ ๊ณผํ•™์  ์•„์ด๋””์–ด ์ƒ์„ฑ์—์„œ ๋‹ค์ค‘ LLM์˜ ํ˜‘์—… ํšจ๊ณผ๋ฅผ ๋ถ„์„ํ•˜์—ฌ, 494๋ฒˆ ๋…ผ๋ฌธ์˜ ๋‹จ์ผ ํ‚ค์›Œ๋“œ ๊ธฐ๋ฐ˜ ๋ฒค์น˜๋งˆํฌ์™€ ๋Œ€์กฐ์  ์‹คํ—˜ ๋””์ž์ธ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ธ๊ฐ„-AI ํ˜‘์—…์„ ํ†ตํ•œ ์ฐฝ์˜์  ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LiveIdeaBench ๋…ผ๋ฌธ์€ LLM์˜ ์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ์„ ์‹ค์ œ ๋งฅ๋ฝ ๋‚ด์—์„œ ๋ฒค์น˜๋งˆํฌํ•˜์—ฌ AI Idea Bench์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด์™„์ ์œผ๋กœ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LiveIdeaBench ๋…ผ๋ฌธ์€ LLM์˜ ๊ณผํ•™์  ์ฐฝ์˜์„ฑ๊ณผ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€๋ฅผ ๋งน๊ฒ€ ๋Œ€์กฐ ์‹คํ—˜์œผ๋กœ ๋ถ„์„ํ•˜์—ฌ, ํŠนํ—ˆ ์‚ฌ๋ก€์™€ ๋Œ€์กฐ์ ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
494๋Š” LLM ์ฐฝ์˜์„ฑ์˜ ๋‹ค์ฐจ์› ํ‰๊ฐ€์™€ ์•„์ด๋””์–ด ์ƒ์„ฑ ์ ํ•ฉ๋„๋ฅผ ์‹คํ—˜์ ์œผ๋กœ ๊ฒ€์ฆํ•˜์—ฌ 313์˜ RND ๊ธฐ๋ฐ˜ ํ˜์‹ ์„ฑ ํ‰๊ฐ€์™€ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™์  ์ฐฝ์˜์„ฑ ํ‰๊ฐ€์—์„œ LLM๊ณผ ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€์˜ ์‹ค์ œ ์•„์ด๋””์–ด ์ƒ์„ฑ ํ‰๊ฐ€๋ฅผ ์ •๋Ÿ‰์ ์œผ๋กœ ๋น„๊ตํ•˜๋ฏ€๋กœ, ์ธ์ง€ ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๋ถ„์„์— ๋ณด์™„์ ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
494 ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ๊ณผํ•™์  ์•„์ด๋””์–ด์˜ ์ฐฝ์˜์„ฑยท๋‹ค์–‘์„ฑ ํ‰๊ฐ€๋ฅผ ์ค‘์ ์ ์œผ๋กœ ๋‹ค๋ฃจ๋ฉฐ, 565์—์„œ ์ œ์•ˆํ•œ ์ถ”๋ก  ๊ธฐ๋ฐ˜ ๋‹ค์–‘์„ฑ ๊ฐ•ํ™” ๋ฐฉ์‹๊ณผ ๋น„๊ตํ•˜๋ฉด ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
494๋ฒˆ ๋…ผ๋ฌธ์€ LLM์˜ ๊ณผํ•™์  ์ฐฝ์˜์„ฑ ๋ฐ ๊ตฌ์กฐ์  ์ถ”๋ก ๋Šฅ๋ ฅ ํ‰๊ฐ€์— ๊ด€ํ•ด debate ๊ธฐ๋ฐ˜ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ ์šฉํ•จ์œผ๋กœ์จ ๊ต์ฐจ ํ‰๊ฐ€๋ฒ•์˜ ๋Œ€์•ˆ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ณผํ•™์  ์•„์ด๋””์–ด ์ฐฝ์˜์„ฑ ๋ฐ ํ‰๊ฐ€์—์„œ LLM ๊ธฐ๋ฐ˜ ๋ฐฉ์‹์„ ๋น„๊ตํ•จ์œผ๋กœ์จ, ํ•™์ œ๊ฐ„ ์ฐฝ์˜์„ฑ ์ด‰์ง„๊ณผ ์‹ค์ œ ์ฐฝ์˜์„ฑ ํŒ๋‹จ ๊ฒฝํ—˜์„ ์—ฐ๊ด€์‹œํ‚จ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
Liveideabench๋Š” ๋…ผ๋ฌธ ์•„์ด๋””์–ด์™€ ์˜ํ–ฅ๋ ฅ ์˜ˆ์ธก์˜ ๋Œ€์•ˆ์  ๋ฒค์น˜๋งˆํฌ์ด์ž ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, MIRAI์™€ ์ ‘๊ทผ๊ณผ ํ‰๊ฐ€์—์„œ ์ฐจ๋ณ„์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
Liveideabench ๋…ผ๋ฌธ์€ LLM ์—ฐ๊ตฌ ์•„์ด๋””์–ด ๋ฐ ๊ด€๋ จ ์ž‘์—… ์ž๋™ ์ƒ์„ฑ์˜ ํ’ˆ์งˆ ํ‰๊ฐ€์— ์ฐธ๊ณ ๊ฐ€ ๋  ์ˆ˜ ์žˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
AI ์•„์ด๋””์–ด๊ฐ€ ์ธ๊ฐ„ ์ฐฝ์˜์„ฑ๊ณผ ๋‹ค์–‘์„ฑ์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์— ๊ด€ํ•œ ๋Œ€๊ทœ๋ชจ ์‹คํ—˜ ์—ฐ๊ตฌ๊ฐ€ LLM ๊ณผํ•™์  ์ฐฝ์˜์„ฑ ๋ฒค์น˜๋งˆํฌ ํ‰๊ฐ€์— ์ •์„ฑ์  ํ†ต์ฐฐ์„ ๋ณดํƒญ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
494๋Š” ์—ฐ๊ตฌ ์•„์ด๋””์–ด ์ƒ์„ฑ์˜ ์ฐฝ์˜์„ฑ๊ณผ ํ˜์‹ ์  ๋ฐฉํ–ฅ์„ฑ ํ‰๊ฐ€์—์„œ LLM์˜ ํ•œ๊ณ„์™€ ๋ณด์™„๋ฒ•์„ ์‹คํ—˜์ ์œผ๋กœ ๋‹ค๋ฃจ์–ด, 3212์˜ ์˜๋ฏธ๋ก ์  ๊ฐœ๋… ๊ทธ๋ž˜ํ”„ ๋ฐ ์˜ˆ์ธก ํ”„๋ ˆ์ž„ ํ™•์žฅ์— ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ค๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
Liveideabench๋Š” LLM์ด ์‹ค์ œ๋กœ ์–ผ๋งˆ๋‚˜ ์ฐฝ์˜์  ์•„์ด๋””์–ด๋ฅผ ๋‚ด๋Š”์ง€ ํ‰๊ฐ€ํ•˜๋Š” ์‹ ๊ทœ ๋ฒค์น˜๋งˆํฌ๋กœ, 186์ด ์ฃผ์žฅํ•˜๋Š” LLM ์ฐฝ์˜์„ฑ ํ•œ๊ณ„ ์‹ค์ฆ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
494๋ฒˆ์€ LLM์˜ ๊ณผํ•™ ์ฐฝ์˜์„ฑโ€ง์•„์ด๋””์–ด ์ƒ์„ฑ ๋Šฅ๋ ฅ์„ ๊ฐ๊ด€์ ์œผ๋กœ ํ‰๊ฐ€ํ•˜์—ฌ, 540๋ฒˆ์˜ ๋ฐฉ๋ฒ•๋ก  ์˜๊ฐ ์‹œ์Šคํ…œ์˜ ์‹ค์ œ ํšจ๊ณผ ๊ฒ€์ฆ์— ๋„์›€์„ ์ค๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •