Best humans still outperform artificial intelligence in a creative divergent thinking task

Motivation

Known: 최근 생성형 AI(ChatGPT, MidJourney 등)가 고품질의 예술 작품과 창의적 콘텐츠를 생산할 수 있게 되면서 인공지능의 창의성에 대한 논의가 활발해지고 있다. 역사적으로 창의성은 인간의 고유한 능력으로 여겨져 왔다.
Gap: AI의 창의성 평가는 주로 예술 작품의 질적 판단에 의존해 왔으나, 창의적 사고의 핵심인 '발산적 사고(divergent thinking)'를 정량적으로 비교한 실증 연구가 부족하다.
Why: AI 기술의 고도화가 창의적 일자리에 미치는 영향, 인간의 고유한 창의성의 특성, AI와 인간 창의성의 본질적 차이를 이해하는 것이 중요하다.
Approach: 256명의 인간 참가자와 3종류의 AI 챗봇(ChatGPT 3.5, ChatGPT 4, Copy.Ai)을 대상으로 AUT를 실시하고, 의미적 거리(semantic distance) 측정과 인간 평가자의 주관적 평가를 통해 창의성을 다각적으로 분석했다.

인간과 AI의 평균 점수 및 최고 점수 비교

평균 성능에서의 AI 우위: AI 챗봇들은 인간 참가자보다 평균적으로 높은 창의성 점수를 기록했으며, 의미적 거리와 주관적 평가에서 모두 우수한 성능을 보였다.
최고 성능에서의 인간 우월성: 그러나 최상위 인간 아이디어들은 AI의 창의성과 동등하거나 초과했으며, 이는 인간의 창의성이 여전히 독특한 가치를 지님을 시사한다. AI는 질 낮은 아이디어를 포함한 광범위한 분포를 보인 반면, 최고 수준의 인간은 더 일관되게 우수한 아이디어를 생산했다.

네 대상 객체에 대한 의미적 거리 평균값 비교

참가자 구성: 영어 원어민 256명(여성 108명, 남성 145명, 평균 연령 30.4세)을 온라인 플랫폼 Prolific을 통해 모집하고 주의력 검사를 통과한 인원만 포함
AI 테스트: ChatGPT 3.5(3월 30일), ChatGPT 4(4월 5일), Copy.Ai(4월 1-2일) 각각 11세션에서 4개 객체(rope, box, pencil, candle)로 총 132개 관찰값 수집
대체 용도 과제(AUT) 설계: 일상 객체에 대한 창의적이고 독특한 용도 생성(30초 제한)
평가 방법:
- 의미적 거리 분석: 객체와 응답 간의 의미적 거리를 계산하여 독창성(originality) 정량화
- 인간 평가: 세 명의 맹검(blind) 평가자가 창의성, 구성, 가능성을 5점 척도로 평가
- 통제 변수: AI 응답의 어휘 수와 아이디어 개수를 인간의 중앙값(3개)에 맞춰 통제

최초의 정량적 비교: AUT 과제를 통해 의미적 거리라는 객관적 방법론과 주관적 인간 평가를 결합하여 인간-AI 창의성을 체계적으로 비교한 선도적 연구
이중 측정 체계: 계산 방법(semantic distance)과 인간의 심미적 판단을 함께 활용하여 창의성의 다층적 특성을 포착
분포 분석의 중요성: 평균 성능뿐 아니라 상위 성능(max scores)을 비교함으로써, 인간과 AI의 창의적 능력의 본질적 차이를 드러냄
이론적 시사: Guilford의 발산적 사고 모델과 연상 이론(associative theory)을 바탕으로 AI의 대규모 데이터베이스 접근 능력과 인간의 개념 연결 능력의 차이를 설명

표본 크기 제약: AI는 11세션(132개 관찰값)만 테스트되어 인간(256명, 1024개 관찰값)에 비해 샘플 크기가 작음. AI의 변동성을 더 포괄적으로 평가하기 위해 더 많은 세션이 필요할 수 있음
특정 객체 제한: 4개의 일상 객체만 사용했으므로, 추상적 개념이나 다른 범주의 객체에서 인간-AI 창의성의 차이가 어떻게 달라지는지 미지수
개인차 무시: 인간 참가자의 창의성 점수 분포가 넓은데, 인지 스타일, 경험, 교육 수준 등 개인 특성에 따른 변동이 분석되지 않음
시간 의존성: 2023년 초 AI 버전으로 테스트했으므로, 더 발전된 AI 모델에서는 결과가 달라질 가능성이 높음
후속 연구:
- 더 다양한 창의성 과제(예술 창작, 문제 해결)에서 인간-AI 비교
- 인간-AI 협업 시스템의 창의성 효과 평가
- 뇌 영상 연구로 인간의 창의적 사고 신경 기제 규명
- 사회문화적 요인이 창의성 평가에 미치는 영향 분석