/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/409_How_ai_ideas_affect_the_creativity_diversity_and_evolution_o

Motivation

• Known: 기존 연구들은 인간이 AI 시스템과 능동적으로(active engagement) 상호작용하며 창의적 작업을 수행하는 상황에 주로 초점을 맞춰왔으며, LLM 노출이 급증하고 있고 사람들은 AI와 인간 콘텐츠를 구분하는 능력을 과대평가한다는 사실이 알려져 있다.
• Gap: 현실에서는 사람들이 AI 산출물을 능동적으로 생성에 참여하지 않고 단순히 접하는 "passive exposure" 상황이 훨씬 흔함에도 불구하고, 이러한 수동적 노출이 인간의 창의성과 집단적 아이디어 다양성 및 진화(evolution)에 어떤 영향을 미치는지, 그리고 AI 출처 공개(disclosure)가 이를 어떻게 조절하는지는 체계적으로 연구되지 않았다.
• Why: 생성형 AI가 문화적 피드백 루프("culture loop")에 진입함에 따라 AI 아이디어가 집단지성(collective intelligence)의 창의성과 다양성에 미치는 영향을 이해하는 것은 AI가 인간 문화와 사고의 진화를 어떻게 형성할지에 대한 중요한 함의를 가지기 때문이다.
• Approach: Alternate Uses Task(AUT)의 변형을 사용해 참가자들이 AI 또는 이전 참가자(인간)로부터 나온 예시 아이디어를 본 뒤 자신의 아이디어를 브레인스토밍하도록 하는 동적(dynamic) 실험을 설계하고, AI 노출 정도(없음/낮음/높음)와 AI 라벨 공개 여부(disclosure)를 교차 조작하였다.

Achievement

Graphical depiction of experiment. The task (Panel 1) is to submit a creative idea after seeing examples, where

1. 집단 다양성 대 개인 창의성의 분리: 높은 AI 노출은 개인 아이디어의 창의성(독창성)에는 유의한 영향을 주지 않았지만, 집단 수준의 아이디어 다양성의 평균 수준을 증가시켰다는 것을 발견함으로써 "AI가 아이디어를 더 낫게 만드는 것이 아니라 다르게 만든다"는 핵심 통찰을 제시했다.
2. 다양성 변화 속도 효과 규명: 동적 실험 설계를 활용해 높은 AI 노출이 다양성의 평균 수준뿐 아니라 그 변화 속도(rate of change)도 증가시킨다는 것을 발견하여, 작은 차이가 시간에 따라 누적되어 큰 차이로 이어질 수 있음을 시사했다.
3. 창의적 자기인식에 따른 공개 효과의 조절: 스스로 창의적이라고 인식하는 사람들은 AI 공개 여부에 영향을 덜 받는 반면, 창의성이 낮다고 인식하는 사람들은 AI 공개 여부에 따라 아이디어 채택 행동이 달라짐을 발견했다.
4. 과제 난이도에 따른 AI 아이디어 채택 경향: AI로 표시된 아이디어가 공개되었을 때 참가자들은 어려운 AUT 항목에서 AI 아이디어를 더 많이 채택하는 경향을 보여, 과제가 어려울수록 AI에 의존할 가능성을 시사했다.

How

Participants are randomized to a sequence of 5 trials. In each trial, participants generate a creative use for an item

• 참가자를 5개의 무작위 조건(대조군: AI 예시 0개, 저노출: AI 2개/인간 4개, 고노출: AI 4개/인간 2개)과 disclosure 여부(labeled vs unlabeled)의 조합에 배정
• 각 트라이얼에서 참가자는 예시 아이디어(직전 참가자들의 인간 아이디어와 무작위 AI 아이디어)를 본 후 자신의 창의적 아이디어를 하나 제출 (Figure 1, Figure 2 참고)
• 제출된 인간 아이디어는 동일 조건의 향후 참가자에게 예시로 재사용되는 동적(dynamic) 설계를 채택해 문화적 진화 과정을 시뮬레이션
• 개인 창의성은 기존에 fine-tuning된 GPT-3 기반 AUT 독창성 분류기(인간 평가와 r=0.81 상관)를 이용해 계산
• 집단 다양성은 별도의 계량적 다양성 지표로 측정하고, AI 아이디어 채택 여부는 텍스트 유사도 등을 통해 판별
• 800명 이상, 40개국 이상의 참가자를 대상으로 대규모 실험 수행

Originality

• 기존 human-AI 창의성 연구가 주로 능동적 상호작용(active engagement)에 초점을 맞춘 것과 달리, 실제 환경에서 더 흔한 "passive exposure" 개념을 도입하고 이를 실험적으로 조작한 점이 독창적이다.
• 정적인 단일 시점 실험이 아니라 이전 참가자의 응답이 이후 참가자의 자극이 되는 동적(dynamic) 실험 설계를 통해 문화적 진화의 시간적 역학(temporal dynamics)을 포착한 점이 새롭다.
• 창의성(개인)과 다양성(집단)을 별개의 측정 축으로 명확히 구분하여 AI가 두 차원에 미치는 영향을 분리해 분석한 접근이 참신하다.
• AI 노출과 disclosure를 교차 설계하여 노출량과 투명성이라는 두 가지 정책적으로 중요한 변수의 상호작용을 함께 살펴본 점도 강점이다.

Limitation & Further Study

• AUT 과제 특성상 참가자가 하나의 아이디어만 제출하도록 설계되어 fluency, flexibility 등 창의성의 다른 차원은 측정하지 못했으며, 향후 다중 응답 기반 확장 연구가 필요하다.
• 개인 창의성 측정에 사용된 GPT-3 기반 분류기가 특정 AUT 항목에 대해 훈련되었기 때문에 일반화 가능성에 한계가 있을 수 있다.
• AI 아이디어 채택과 과제 난이도 간의 관계는 소수의 AUT 항목에 기반한 추정적(speculative) 결론이므로 추가 검증이 필요하다.
• 실험 참가자가 Prolific 등 온라인 플랫폼 기반일 가능성이 높아 생태학적 타당성(ecological validity)과 실제 장기적 문화 진화에 대한 일반화에는 한계가 있으며, 더 다양한 실제 브레인스토밍 맥락에서의 후속 연구가 필요하다.

Evaluation

총평: AI 노출이 개인 창의성보다는 집단 아이디어 다양성과 그 진화 속도에 영향을 미친다는 세밀하고 흥미로운 발견을 대규모 동적 실험으로 견고하게 제시한 연구로, human-AI 협업 및 집단지성 연구에 중요한 함의를 제공한다.