Automated Prototyping of Behavioral Experiments with Large Language Models

Motivation

• Known: 기존 연구는 AI scientist 시스템(예: Coscientist, A-Lab, AutoRA)이 화학·재료과학·행동과학 등에서 실험 설계-실행 파이프라인을 자동화할 수 있음을 보였고, LLM을 인간 참가자의 synthetic participant로 활용하는 연구, 그리고 LLM을 자연어 아티팩트에 대한 zero-order optimizer로 사용하는 연구들이 각각 별도로 존재한다.
• Gap: 기존 LLM 기반 행동과학 실험 설계 시스템(Manning et al., Guo et al.)은 대부분 one-shot 방식으로 고정된 변수 집합이나 스크립트 선택에 국한되며, task framing과 같은 open-ended 텍스트 기반 실험 요소를 black-box optimization으로 반복적·순차적으로 최적화하는 closed-loop 프레임워크는 부재했다.
• Why: 행동 실험의 in vivo piloting은 자원 집약적이고 느린 과정인데, synthetic participant와 automated design system을 결합하면 실제 인간 연구에 앞서 in silico로 실험 설계 공간을 탐색할 수 있어 행동과학 연구의 설계 주기를 가속화할 잠재력이 크다.
• Approach: 실험 설계를 fixed component x와 configurable component γ로 분리하고, experimentalist가 γ(예: cover story)를 제안하면 participant LLM이 이를 수행해 얻어진 행동 지표에 대한 loss를 최소화하는 black-box optimization 문제로 정식화한다.

Achievement

WCST case study: closed-loop discovery of narrative framings that indirectly steer perseverative responding in synthetic

WCST를 사례 연구로 사용해, 명시적 지시 없이도 perseverative responding을 간접적으로 조절하는 narrative framing을 프레임워크가 발견할 수 있음을 실증적으로 보였다.

How

Closed-loop framework for in silico prototyping of behavioral experiments. The figure illustrates our framework for

• 실험 설계를 (x, γ)로 분해: x는 stimuli, task logic, trial schedule 등 고정 구조, γ는 반복적으로 수정되는 configurable component(task framing/instruction/cover story)
• 매 라운드 t마다 experimentalist π가 후보 γt를 제안 → participant family pγ가 이를 실행해 행동 출력 yt 생성 → task-specific loss L(yt)로 점수화해 feedback δt 산출
• (γt, δt) 쌍을 experimental history에 누적하여 다음 제안에 반영하는 closed-loop 최적화 과정을 반복
• 이 formulation은 임의의 optimizer, 임의의 participant population, 임의의 parameterizable 실험 요소를 허용하는 일반적 구조로 설계됨
• WCST(인지적 유연성의 canonical paradigm)에 이 프레임워크를 적용해, 두 LLM(experimentalist, participant)이 상호작용하며 perseverative responding을 지표로 하는 framing 최적화를 수행

Originality

• 행동과학 실험의 piloting 문제를 black-box optimization으로 formalize하여 optimizer, participant population, configurable component에 대해 일반적인 프레임워크를 제시
• 기존 one-shot LLM 기반 실험 설계 시스템과 달리, closed-loop·순차적 최적화를 통해 open-ended 텍스트 기반 task narrative 공간을 탐색
• Task framing(cover story)이라는 잘 알려진 심리학적 조작 변수를 AI scientist의 최적화 대상으로 최초로 도입
• Adaptive Design Optimization과 달리 명시적 Bayesian participant model이나 parametric design space 없이 LLM 기반 시뮬레이터와 자연어 설계 공간을 사용

Limitation & Further Study

• 발견된 cover story는 synthetic participant(LLM)에 대해서만 최적화되었으며 실제 인간 참가자에 대한 검증이 이루어지지 않아 human validity가 불확실함
• 단일 과제(WCST)와 단일 configurable component(task framing)에 대한 proof-of-concept으로, 다른 인지 과제나 다른 실험 구성 요소(자극, trial schedule 등)로의 일반화 가능성은 추가 검증이 필요함
• participant LLM이 실제 인간 인지 과정을 얼마나 충실히 모사하는지에 대한 근본적 논쟁(mechanistic account 여부)을 프레임워크가 우회하고 있어, 발견된 효과가 인간 행동으로 전이되지 않을 위험이 존재함
• 향후 연구로 인간 실험을 통한 discovered framing의 검증, 더 복잡한 configurable space와 다양한 optimizer/참가자 population으로의 확장이 필요함

Evaluation

총평: 행동과학 실험 설계를 closed-loop black-box optimization으로 재구성한 참신하고 일반적인 프레임워크로, AI scientist 연구를 행동과학 영역으로 확장하는 의미 있는 시도이나, 아직 synthetic participant에 국한된 proof-of-concept 단계로 인간 검증과 추가 사례 연구가 후속되어야 한다.