/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/411_How_do_humans_and_language_models_reason_about_creativity_a

Motivation

• Known: CAT(Consensual Assessment Technique)는 전문가의 암묵적 판단에 기반해 창의성을 평가하는 신뢰성 높은 방법이며, originality는 uncommonness, remoteness, cleverness의 세 facet으로 구성된다고 알려져 있다. 최근 LLM이 인간의 창의성 평가를 높은 정확도로 예측할 수 있음이 보고되었다.
• Gap: 기존 연구는 전문가와 LLM이 originality 점수를 산출하는 과정에서 어떤 인지적 전략과 세부 facet에 의존하는지, 그리고 example rating 제공이 이러한 평가 과정을 어떻게 변화시키는지를 세밀하게 분석하지 못했다. 특히 STEM 도메인의 design problem처럼 novelty와 technical feasibility가 동시에 요구되는 복잡한 창의성 평가에서 human과 LLM의 평가 전략 차이는 거의 알려지지 않았다.
• Why: LLM이 peer review, idea generation 등 과학 연구의 여러 단계에서 창의성 평가자 역할을 점점 더 많이 수행하게 되면서, 이들의 판단 근거와 편향(bias)을 이해하는 것은 AI를 신뢰할 수 있는 평가 도구로 활용하고 인간 판단과의 정합성을 높이기 위해 필수적이다.
• Approach: Design Problems Task(DPT) 응답에 대한 originality, remoteness, uncommonness, cleverness의 세밀한 평정과 서술적 설명을 example 제공 유무 두 조건으로 나누어 수집하고, 전산 텍스트 분석(computational text analysis)을 통해 인간 전문가(Study 1)와 최신 LLM들(Study 2)의 평가 과정을 병렬적으로 비교한다.

Achievement

CLAUDE-3.5-SONNET’s ratings generally agreed

1. 인간 평가 패턴 발견: no-example 조건의 전문가는 example 조건 전문가에 비해 비교 언어(예: "better/worse")를 더 많이 사용하고 uncommonness를 더 강조하여, 기억 인출(memory retrieval) 기반 비교 전략에 더 의존함을 시사했다.
2. LLM 평가 전략 규명: 최신 LLM들은 originality 평가 시 uncommonness와 remoteness를 우선시하여, 아이디어 간 semantic similarity에 기반한 평가 과정을 사용함을 보였다.
3. example 제공 효과의 이중성: example 조건에서 LLM의 실제 originality 점수 예측 정확도는 향상되었으나, remoteness·uncommonness·cleverness와 originality 간 상관관계가 최대 0.99까지 급격히 높아져, 세부 facet에 대한 평가가 동질화(homogenization)되는 현상을 확인했다.
4. 인간-AI 평가 전략의 발산: 두 연구 결과를 종합하여 인간과 AI가 서로 다른 집단적 선호와 인지 전략을 가지고 창의성을 평가함을 실증적으로 제시했다.

How

Pearson correlations among pairwise Likert ratings

• Patterson et al. (2025)의 DPT 데이터(7000개 이상의 STEM 전공 학부생 응답)를 활용, Likert 척도 originality 점수를 factor score로 변환하여 ground truth로 사용
• Prolific에서 STEM 학사 이상 학위를 가진 80명의 전문가를 모집해 example 제공 유무의 두 조건으로 분할, DPT 응답에 대해 originality, remoteness, uncommonness, cleverness의 세밀한 평정 및 originality 점수에 대한 서술적 설명(justification) 수집
• LIWC 등 computational text analysis 방법을 사용해 전문가들의 설명 텍스트에서 비교 언어, 기억 관련 어휘 등의 언어적 패턴 분석
• Study 2에서는 동일한 실험 설계(example vs no-example)를 최신 LLM들(예: CLAUDE-3.5-SONNET 등)에 적용하여 originality 예측 정확도와 facet 간 상관관계(Pearson correlation)를 인간 결과와 병렬 비교

Originality

• 기존에는 원자적 originality 점수만 평가하던 CAT 프레임워크를 확장하여, remoteness/uncommonness/cleverness라는 세 facet을 서술적 설명과 함께 세밀하게 평가하는 프로토콜을 새로 설계함
• 인간 전문가와 LLM을 동일한 실험 조건(example vs no-example)에서 병렬적으로 비교하는 comparative analysis 설계를 통해 두 평가 주체의 인지적 전략 차이를 직접 대조
• STEM 특화 창의성 과제인 DPT를 사용해 기존 AUT 등 단순 과제에서는 드러나지 않던 novelty-feasibility 간 긴장 관계를 반영한 평가 분석을 수행

Limitation & Further Study

• Prolific 참가자 80명이라는 비교적 제한된 표본 크기로 인해 일반화 가능성에 한계가 있을 수 있음
• LLM 평가 시 example 제공이 facet 간 상관관계를 인위적으로 동질화시키는 현상이 실제 창의성 평가의 타당성을 저해할 수 있는지에 대한 심층 분석이 부족
• STEM 도메인에 특화된 DPT만을 사용했기 때문에 다른 창의성 과제나 도메인(예: 예술적 창의성)으로의 일반화 여부는 추가 검증 필요
• 후속 연구로는 다양한 LLM 아키텍처 및 prompting 전략에 따른 평가 편향의 원인을 규명하고, 인간-AI 협업 평가 시스템에서의 상호보완적 활용 방안을 모색할 필요가 있음

Evaluation

총평: 인간과 LLM의 창의성 평가 과정을 세밀한 facet 단위로 병렬 비교한 실증적이고 시의적절한 연구로, LLM을 창의성 평가자로 활용할 때 발생할 수 있는 잠재적 편향(예: facet 동질화)을 구체적으로 드러낸 점이 인상적이다. 다만 표본 규모와 도메인 일반화 측면에서 추가 검증이 필요하다.