A review of llm-assisted ideation

저자: Sitong Li, Stefano Padilla, Pierre Le Bras, Junyu Dong, Mike J. Chantler | 날짜: 2025 | URL: https://arxiv.org/abs/2503.00946 📄 PDF

Essence

Figure 3. The Hourglass Ideation Framework for LLM-assisted Ideation. The hourglass shape of the framework visualizes

본 논문은 대규모 언어모델(LLM)을 활용한 아이디에이션(ideation) 지원에 관한 61개 연구를 체계적으로 검토하고, 아이디에이션 프로세스의 7단계와 3단계를 포함하는 '모래시계 아이디에이션 프레임워크(Hourglass Ideation Framework)'를 제시한다.

Motivation

Known: 전통적 브레인스토밍 및 아이디어 관리 시스템이 광범위하게 도입되었으며, 기계학습 기반 보조 아이디에이션 도구들이 개발되었다. 그러나 이러한 접근법들은 인지적 편향 극복 및 대규모 아이디어 평가에 어려움을 겪고 있다.
Gap: LLM의 아이디에이션 지원 능력에도 불구하고, 어느 단계에서 활용되는지, 인간-시스템 상호작용 설계가 어떻게 이루어지는지 체계적으로 분석한 연구가 부족하다. 특히 그룹 협업과 다중 모달리티 상호작용 설계는 미흡한 상태이다.
Why: LLM의 자연어 처리 능력은 고정관념 극복, 광대한 문제 공간 탐색, 신규성 있는 아이디어 생성을 촉진할 수 있으며, 이를 체계적으로 이해하면 더 효율적인 아이디에이션 시스템 개발에 기여할 수 있다.
Approach: Web of Science, Scopus 등 4개 데이터베이스에서 체계적 문헌 탐색을 수행하여 61개 논문을 선별하였고, 제안된 모래시계 프레임워크를 기준으로 각 연구의 아이디에이션 단계별 LLM 활용 방식, 상호작용 설계, 사용자 연구 방법을 분석하였다.

Achievement

Figure 2. Publication Statistics of Analysed Papers

모래시계 아이디에이션 프레임워크 제시: 아이디에이션 프로세스를 준비-개발-평가 3단계와 범위 규정, 기초 자료 구조화, 아이디어 생성, 아이디어 정제, 다중 아이디어 평가 및 선택, 최종 평가, 실행 7개 세부 단계로 체계화
LLM 활용 현황 분석: 아이디어 생성과 정제에는 빈번히 사용되나, 범위 규정(scope specification)과 기초 자료 구조화에는 제한적으로 활용되는 불균형을 발견
상호작용 설계 연구: 개인 아이디에이션과 텍스트 기반 상호작용이 주를 이루며, 다중모달(multimedia) 요소 통합 추세가 증가하지만 그룹 협업(동기/비동기) 도구는 부족함을 규명
포괄적 메타 분석: 창의성 도메인, 발행 매체, 사용자 연구 설계, 평가 방법 등 61개 연구의 상세 카탈로그 작성 및 온라인 자료 제공

How

Figure 1. PRISMA Flow Diagram for Screening

PRISMA 지침에 따른 체계적 문헌 검토 프로토콜 적용
포함 기준: LLM을 활용하여 아이디에이션을 지원하는 학술 논문
배제 기준: 교과서, 워크숍, 리뷰 논문, 아이디에이션 미지원 연구, LLM 비사용 연구 제외
4개 데이터베이스(Web of Science, Scopus, ACM Digital Library, DOAJ) 검색
초록/전문 스크리닝을 통한 2단계 선별 과정
모래시계 프레임워크를 분석 틀로 활용한 질적·양적 데이터 추출
Figure 1의 PRISMA 플로우 다이어그램에 따른 체계적 절차 문서화

Originality

LLM 아이디에이션 지원의 단계별 특성을 명시적으로 분류한 첫 번째 포괄적 체계적 검토
기존의 6단계 기업 아이디어 관리 프레임워크를 개선하여 LLM 특성을 반영한 7단계 프레임워크 개발
상호작용 설계(interaction design) 차원에서 개인/그룹 협업, 모달리티(text, multimedia, multimodal) 분류
사용자 연구 방법론(user study design), 평가 방법(assessment methods)의 체계적 분류

Limitation & Further Study

61개 논문 분석이 빠르게 확장 중인 필드를 완전히 포착하지 못했을 가능성
LLM 아이디에이션 시스템의 실제 효과성(effectiveness) 측정에 관한 메타분석 부족
문화적 맥락, 다언어(multilingual) LLM 활용에 대한 분석 미흡
후속 연구 방향: (1) 범위 규정과 기초 자료 구조화 단계의 LLM 활용 방안 개발, (2) 동기/비동기 그룹 협업 도구 설계, (3) LLM 아이디에이션의 장기적 창의성 영향 평가, (4) 멀티모달·인터랙티브 상호작용 모델 연구

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 리뷰는 빠르게 성장하는 LLM 아이디에이션 분야의 현황을 최초로 체계적으로 정리하고, 모래시계 프레임워크를 통해 단계별 활용 격차를 명확히 규명하여 향후 연구 및 개발의 방향성을 제시하는 중요한 기여를 한다.

같이 보면 좋은 논문

기반 연구

Nova: An iterative planning and search approach to enhance novelty and diversity of llm generated ideas

AI 보조 과학 아이디어 발상 분야의 체계적 리뷰로 Nova의 연구 동기와 실제 개발 방향의 이론적 근거를 제공합니다.

기반 연구

Scideator: Human-LLM scientific idea generation grounded in research-paper facet recombination

A review of llm-assisted ideation 논문은 LLM을 활용한 연구 아이디어 생성 전반을 체계적으로 검토해 Scideator의 연구적 배경을 제공합니다.

기반 연구

LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions

LLM 기반 아이디어 생성과 연구 보조에 대한 이론적·실증적 리뷰로, 연구자 인식 조사 결과에 대한 해석의 지평을 넓혀줍니다.

기반 연구

Spark: A system for scientifically creative idea generation

LLM 기반 학술적 아이디어 도출에 대한 리뷰 논문으로 Spark와 같은 시스템의 전체적 배경을 제공합니다.

기반 연구

What are the best AI tools for research? Nature's guide

LLM 기반 연구 아이디어 도출과정에 대한 서베이로써 도구 활용 가이드의 이론적 기반을 지원합니다.

기반 연구

ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models

LLM 기반 과학적 아이디어 생성 과정의 실제적 보완점과 현행 한계를 심층적으로 점검하는 리뷰입니다.

다른 접근

TLDR: Extreme Summarization of Scientific Documents

LLM을 활용한 연구 아이디어 생성이나 리뷰 시스템의 한계를 탐구하는 AI 작문 연구로, 자동 요약의 적용 판별에 참고할 만하다.

다른 접근

CoAuthor: Designing a Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilities

LLM 기반 협력 글쓰기 데이터셋 구축에서 유사한 목표를 다른 방식으로 접근한다.

다른 접근

Data, measurement and empirical methods in the science of science

LLM 기반 연구 아이디어 생성 및 평가를 다루는 관련 연구이다.

다른 접근

Nova: An iterative planning and search approach to enhance novelty and diversity of llm generated ideas

LLM을 활용한 창의적 아이디어 생성 및 지원 시스템을 다루는 유사한 연구이다.

다른 접근

Acceleron: A tool to accelerate research ideation

LLM의 창의적 사고 지원 능력을 분석하는 관련 연구이다.

다른 접근

Liveideabench: Evaluating llms' scientific creativity and idea generation with minimal context

인간-AI 협업을 통한 창의적 문제 해결을 다루는 관련 연구이다.

다른 접근

Llms for literature review: Are we there yet? arXiv preprint arXiv:2412.15249, 2024.

LLM 보조 아이디에이션에 집중한 리뷰로 문헌 리뷰 자동화라는 같은 주제에 대한 다른 접근을 보여준다.

다른 접근

SciAgents: Automating Scientific Discovery Through Bioinspired Multi-Agent Intelligent Graph Reasoning

LLM을 활용한 아이디어 생성에 초점을 맞춘 리뷰로, 온톨로지 그래프 등 추가적 자동화 요소와 어떤 차이가 있는지 비교해볼 만합니다.

다른 접근

Improving research idea generation through data: An empirical investigation in social science

과학적 아이디에이션 및 발견을 위한 LLM 활용을 다루는 유사한 연구이다.

다른 접근

Systematic Framework of Application Methods for Large Language Models in Language Sciences

AI 기반 연구 아이디어 및 언어모델 적용 방법에 대한 다양한 관점을 비교해볼 수 있습니다.

후속 연구

Learning to generate research idea with dynamic control

LLM을 활용한 과학 연구 아이디어 생성과 동적 컨트롤 기법을 다뤄, 모래시계 프레임워크 기반 실전적 응용 사례를 제시합니다.

후속 연구

Spark: A system for scientifically creative idea generation

019의 LLM 기반 아이디어 생성 논의는 762의 과학적 창의 아이디어 생성 시스템 연구로 이어집니다.

후속 연구

ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations

019는 논문 아이디어 생성과 LLM 기반 작성을 다루므로, 702에서 제시한 전체 논문 생성 워크플로우의 상위 개념과 연결된다.

후속 연구

Interesting Scientific Idea Generation using Knowledge Graphs and LLMs: Evaluations with 100 Research Group Leaders

지식그래프 기반 아이디어 생성 시스템 연구로, LLM 기반 아이디에이션을 구체적 방법론으로 구현한 사례여서 019의 프레임워크와 상호대표성 확인 가능.

응용 사례

A survey of large language models

생성형 LLM의 활용이 연구 아이디어 발굴 등 실제 연구에 어떻게 적용되는지 사례를 제공하여 이론과 실무를 잇는다.

응용 사례

Automating exploratory proteomics research via language models

LLM을 활용한 아이디어 발굴 및 탐험적 연구 자동화의 실제 적용 예시로 연결됩니다.

응용 사례

Generative machine learning in adaptive control of dynamic manufacturing processes: A review

LLM 기반 생성적 접근이 과학적 아이디어 창출에 어떻게 적용되는지 실제 과학 연구 상황에 적용된 사례로 깊은 비교가 됨.

응용 사례

Surveyforge: On the outline heuristics, memory-driven generation, and multi-dimensional evaluation for automated survey writing

019 'A review of llm-assisted ideation' 논문은 AI 기반 학술 조사에서 아이디어 도출 및 구조적 서베이 작성의 실제 적용 예시로, SurveyForge 연구와 연계해 읽을 가치가 있습니다.

응용 사례

From Automation to Autonomy: A Survey on Large Language Models in Scientific Discovery

AI를 활용한 연구 아이디어 생성, 과학적 발견 과정에서 LLM 역할이 실제 연구 현장에 미치는 영향을 실증적으로 보여줍니다.

← 목록으로 돌아가기