ChatDev: Communicative Agents for Software Development

Motivation

Known: 기존 소프트웨어 개발 연구는 waterfall model의 특정 단계(설계, 코딩, 테스트)에만 deep learning을 적용하여 각 단계가 고립되고 기술적 불일치를 야기했다. LLM은 강력한 자연어 처리 능력과 역할극 능력을 보유하고 있으며, 자율 에이전트는 메모리와 계획, 도구 사용 등 고급 기능을 활용할 수 있다.
Gap: LLM 기반 에이전트의 hallucination 문제, 특히 완전하지 않거나 실행 불가능한 코드 생성 문제는 에이전트의 자율성을 제한하고 수동 개입을 요구하여 소프트웨어의 즉시 사용성을 저해한다. 또한 멀티턴 대화를 통해 자연어와 프로그래밍 언어를 통합적으로 사용하는 일관된 개발 프로세스가 부재했다.
Why: 소프트웨어 개발은 다양한 전문가의 협력을 요하는 복잡한 작업이며, 현재의 단계별 고립된 접근은 비효율적이다. LLM 에이전트를 통해 여러 단계를 통합하고 언어 기반 커뮤니케이션으로 hallucination을 완화하며 자동화된 전체 개발 프로세스를 구현하는 것이 중요하다.
Approach: ChatDev는 chat chain으로 각 단계를 세부 subtask로 분할하고, instructor와 assistant 역할의 에이전트가 멀티턴 대화를 통해 협력하여 합의된 솔루션을 도출한다. communicative dehallucination 메커니즘을 통해 에이전트가 응답 전에 더 구체적인 정보를 요청하도록 유도하여 hallucination을 최소화한다.

Achievement

완전성 향상: 설계·코딩·테스트 단계가 chat chain으로 통합되어 일관된 소프트웨어 개발 프로세스 구현
실행 가능성 개선: communicative dehallucination을 통해 코딩 hallucination을 감소시켜 실행 가능한 코드 생성 비율 향상
요구사항 일관성: 자연어 기반 다중 에이전트 대화가 요구사항을 더 정확하게 반영한 설계 및 구현 달성
포괄적 데이터셋 구축: 소프트웨어 요구사항 설명을 포함한 종합 데이터셋 구성으로 향후 연구 기반 제공

How

Chat chain: 소프트웨어 개발을 design → coding(code writing, completion) → testing(code review, system testing)의 순차적 단계로 분할
Instructor-Assistant 역할 할당: 각 subtask마다 전문화된 역할(예: reviewer, programmer)의 에이전트가 지시자와 수행자로 협력
Multi-turn dialogue: 에이전트들이 합의에 도달할 때까지 반복 대화를 수행하여 텍스트 또는 코드 형태의 솔루션 추출
Communicative dehallucination: 에이전트가 응답 전 구체적인 정보를 먼저 요청하는 의사소통 패턴을 도입
Comprehensive evaluation: 요구사항 설명 데이터셋을 구축하고 완전성, 실행 가능성, 요구사항 일치도를 종합 분석

Limitation & Further Study

평가 범위: 주로 Gomoku 게임과 같은 제한된 규모의 소프트웨어 개발 과제에 대한 검증이며, 대규모 엔터프라이즈 소프트웨어 개발로의 확장성 미검증
LLM 의존성: 성능이 기저 LLM의 능력에 크게 의존하며, hallucination 완전 제거는 불가능한 근본적 제약
계산 비용: 멀티턴 다중 에이전트 협력으로 인한 높은 LLM API 호출 비용과 지연 시간 미분석
향후 연구: Hallucination 근본 해결을 위한 더 강력한 LLM 개발, 대규모 실제 프로젝트 검증, 다양한 소프트웨어 아키텍처 지원 필요