ChatDev: Communicative Agents for Software Development

์ €์ž: Qian Chen, Wei Liu, Hongzhang Liu, Nuo Chen, Yufan Dang | ๋‚ ์งœ: 2023 | DOI: arXiv:2307.07924 📄 PDF


Essence

ChatDev๋Š” LLM ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ์—์ด์ „ํŠธ๋“ค์ด chat chain๊ณผ communicative dehallucination์„ ํ†ตํ•ด ์ž์—ฐ์–ด์™€ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด๋กœ ํ˜‘๋ ฅํ•˜์—ฌ ์„ค๊ณ„, ์ฝ”๋”ฉ, ํ…Œ์ŠคํŠธ ๋‹จ๊ณ„๋ฅผ ํ†ตํ•ฉ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ์ด๋‹ค. ์–ธ์–ด๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ํ•œ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ˜‘๋ ฅ์ด ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ํ”„๋กœ์„ธ์Šค๋ฅผ ์ผ๊ด€๋˜๊ฒŒ ์—ฐ๊ฒฐํ•œ๋‹ค.

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

์ดํ‰: ChatDev๋Š” ๋‹ค์ค‘ LLM ์—์ด์ „ํŠธ๋ฅผ chat chain๊ณผ communicative dehallucination์œผ๋กœ ์กฐ์งํ•˜์—ฌ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ์ „ ๋‹จ๊ณ„๋ฅผ ํ†ตํ•ฉํ•˜๋Š” ํ˜์‹ ์  ํ”„๋ ˆ์ž„์›Œํฌ๋กœ, ์–ธ์–ด ๊ธฐ๋ฐ˜ ํ˜‘๋ ฅ์ด ์ž๋™ํ™”๋œ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ์— ์‹ค์งˆ์ ์œผ๋กœ ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์Œ์„ ์‹œ์—ฐํ•œ๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€ ๋ฒ”์œ„๊ฐ€ ์ œํ•œ์ ์ด๊ณ  ๋Œ€๊ทœ๋ชจ ์‹ค๋ฌด ์ ์šฉ์„ฑ ๊ฒ€์ฆ์ด ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
AutoGen์€ LLM ๊ธฐ๋ฐ˜ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜์—ฌ ChatDev์˜ ์ฒด๊ณ„์  ํ˜‘์—…๊ตฌ์กฐ ์„ค๊ณ„ ๋…ผ์˜์˜ ์ด๋ก ์  ํ† ๋Œ€๋ฅผ ์ œ๊ณตํ•œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
3380์€ ์ฝ”๋“œ์— ํŠนํ™”๋œ LLM ๊ณ„์—ด์˜ ํ‰๊ฐ€ ์—ฐ๊ตฌ๋กœ, 205์—์„œ ์ œ์•ˆํ•˜๋Š” ๊ฐœ๋ฐœ ๋ณด์กฐ ์—์ด์ „ํŠธ ํ”„๋ ˆ์ž„์›Œํฌ์™€ ์„ฑ๋Šฅยทํ•œ๊ณ„ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•˜๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋‹ค์ค‘ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์—์„œ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ํ˜‘์—…์„ ์œ„ํ•ด LLM ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ํ˜‘๋ ฅ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ–ˆ๋‹ค๋Š” ์œ ์‚ฌ์ ์ด ์žˆ์–ด ๊ฐ™์ด ์ฝ์œผ๋ฉด ์„œ๋กœ ๋‹ค๋ฅธ ์ ‘๊ทผ๋ฒ•์„ ๋น„๊ต ๊ฐ€๋Šฅ.
๋‹ค๋ฅธ ์ ‘๊ทผ
ChatDev ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ ํ˜‘์—… ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ์— ์ ์šฉ, ์ธ๊ฐ„ ํ˜‘์—…๊ณผ์˜ ์œ ์‚ฌ์ ๊ณผ ์ฐจ์ด์  ๋…ผ์˜์— ์ฐธ๊ณ ๋œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
416๋ฒˆ ๋…ผ๋ฌธ์€ ๋ฒ”์šฉ ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง ์—์ด์ „ํŠธ(Hyperagent)๋กœ์„œ ChatDev์˜ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ˜‘๋™ SW์„ค๊ณ„์™€ ๊ฐœ๋…์ ยท๊ธฐ์ˆ ์  ์ฐจ์ด๋ฅผ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
205๋ฒˆ ChatDev ๋…ผ๋ฌธ์€ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ์šฉ ๋‹ค์ค‘ ์—์ด์ „ํŠธ๋ฅผ ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜ ๊ตฌ์กฐ๋กœ ์„ค๊ณ„ํ•˜์—ฌ, 362๋ฒˆ์˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ณตํ•™ ๋ถ„์•ผ ๋‚ด LLM ๋ฐ ์—์ด์ „ํŠธ ์ ์šฉ ์กฐ์‚ฌ์™€ ์„œ๋กœ ๋‹ค๋ฅธ ์ ‘๊ทผ๋ฒ•์„ ๋ณด์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ์ž๋™ํ™”๋ฅผ ์œ„ํ•œ ๋‹ค๋ฅธ ์ ‘๊ทผ ๋ฐฉ์‹์„ ์ œ์•ˆํ•˜๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
205๋ฒˆ ๋…ผ๋ฌธ์€ ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜ ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์„ ์†Œ๊ฐœํ•ด, 670๋ฒˆ Multi-Agent Code System๊ณผ ์ƒํ˜ธ์ž‘์šฉ ๊ตฌ์กฐ์ƒ ๋น„๊ตํ•  ์ˆ˜ ์žˆ๋Š” ๋Œ€์•ˆ์ด๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
362๋Š” LLM ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ ์ง€์› ์—์ด์ „ํŠธ์˜ ํฌ๊ด„์  ๋ฆฌ๋ทฐ๋ฅผ ์ œ์‹œํ•ด, 205์˜ ChatDev ์‹ค ์‚ฌ๋ก€๋ฅผ ๋” ๋„“์€ ๋งฅ๋ฝ์—์„œ ํ•ด์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•œ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
412๋ฒˆ ๋…ผ๋ฌธ์€ ๋‹ค์–‘ํ•œ AI ์ž‘์—… ๋ฌธ์ œ์— HuggingGPT ์—์ด์ „ํŠธ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ ์šฉํ•œ ์‚ฌ๋ก€๋กœ, 205์˜ ํ†ตํ•ฉ์  SW๊ฐœ๋ฐœ ํ”„๋กœ์„ธ์Šค ๊ฐœ๋…์„ ์‹ค์ œ๋กœ ๋‹ค๋ฅธ ๊ณผํ•™๋ถ„์•ผ์— ํ™•์žฅํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •