Atelier: A Human-Owned Protocol for Auditable AI-Assisted Research

Motivation

• Known: AI assistant는 이미 실험 제안, 코드 초안 작성, 문헌 요약 등 연구 관련 산출물을 생성할 수 있으며, autonomous-scientist platform(Lu et al., 2024; Gottweis et al., 2025)이나 literature/idea agent, execution framework(Yao et al., 2023; Wu et al., 2023; Jiang et al., 2025) 등 component-level tool들이 존재한다.
• Gap: 기존 시스템들은 human을 loop에서 배제하려 하거나(autonomous-scientist platform), 개별 컴포넌트(문헌 탐색, 실행 프레임워크, agent-native artifact reproducibility)만 다룰 뿐, evidence가 무엇으로 인정되는지와 claim에 대한 authority를 누가 갖는지를 규정하는 protocol layer는 비어 있다. 즉 post-hoc optimization(메트릭에 끼워맞춘 사후 논증)과 brittle correctness(hallucinated citation, scope drift 등)라는 두 failure mode를 구조적으로 막는 장치가 없다.
• Why: 연구자가 최종 책임을 지는 human-owned 방식으로 AI를 연구에 통합하면서도, 사후 정당화가 아니라 intent부터 claim까지 reviewer가 검증 가능한 chain을 남기는 protocol은 AI-assisted research의 신뢰성과 재현성 문제를 실질적으로 해결할 잠재력이 있다.
• Approach: researcher를 principal로 유지한 채 manager agent가 작업을 scoping·resolve하고, worker/critic sub-agent가 bounded packet 안에서 동작하는 3계층 구조를 설계하고, 모든 소통을 markdown 파일에 기록하여 auditable trace를 만든다.

Achievement

Figure 1. Atelier as a layered protocol for AI-assisted research,

1. 3계층 protocol 설계: human(방향 설정·최종 승인), manager(canonical state 소유·packet 배정), worker/critic(bounded packet 내 실행)의 authority를 명확히 분리하는 구조를 제시했다.
2. 이론적 근거 제시: information-processing chain과 data processing inequality를 이용해 관찰(observation)을 agent reasoning과 구분해 기록해야 하는 이유(Assumption 2.1), bounded sufficiency(Assumption 2.2), sub-agent independence(Assumption 2.3) 등 세 가지 assumption으로 설계를 정당화했다.
3. looped research lifecycle 정의: orientation부터 deliverable packaging까지 이어지되 언제든 이전 phase로 되돌아갈 수 있는 비선형적 lifecycle을 제시하고, current focus 개념으로 유연성을 확보했다.
4. 파일럿 실험을 통한 검증: 8회 실행·2 sweep 규모의 소규모 파일럿에서 freeform baseline 대비 orientation 및 lifecycle output의 구조적 품질이 4가지 model·effort 설정에서 일관되게 우세함을 보였다.

How

Figure 1. Atelier as a layered protocol for AI-assisted research,

• Orientation, problem framing, related-work mapping, evaluation design, method development, experiment planning, evidence evaluation, claim update, deliverable packaging의 9단계로 구성된 looped lifecycle을 정의
• worker/critic이 fresh session에서 scoped packet을 처리하도록 하여 report를 생성하면, manager가 이를 resolution으로 편집해 evidence·claim·researcher-facing brief로 변환하는 chain 구조를 설계
• critic agent를 다른 model family/platform에서 실행해 correlated failure mode를 줄이는 독립성 확보 메커니즘 도입
• 8 runs, 2 sweeps로 구성된 pilot study를 simulated research scenario 상에서 실행하여 freeform baseline과 비교

Originality

• AI-assisted research를 자동화(automation)가 아니라 human-owned protocol로 접근해, 기존 autonomous-scientist platform들과 차별화되는 철학적 지향점을 명시
• information theory(data processing inequality)를 근거로 observation과 reasoning의 분리 필요성을 정당화한 점은 이 분야에서 흔치 않은 이론적 정당화 시도
• 파일 기반(file-backed) markdown 기록을 protocol의 핵심 메커니즘으로 삼아, chat history 대신 durable하고 human-readable한 audit trail을 구현

Limitation & Further Study

• 파일럿 규모가 8 runs, 2 sweeps로 매우 작아 통계적 유의성이나 일반화 가능성을 담보하기 어려움
• "구조적으로 더 나은" orientation·lifecycle output이라는 평가 기준 자체가 무엇을 측정하는지, 어떤 rubric으로 정량화했는지 본문 발췌만으로는 불명확
• simulated research scenario 하나에 한정된 실험으로, 실제 다양한 연구 도메인·복잡도에서의 일반화 검증이 필요
• Assumption 2.1-2.3은 이론적으로 그럴듯하나 실증적으로 각 가정이 실제로 성립하는지(예: sub-agent independence가 실제 실패율 감소로 이어지는지)에 대한 별도 검증이 부족
• 후속 연구로는 더 큰 규모의 실제 연구 프로젝트에 대한 longitudinal 적용, 정량적 평가 지표의 정교화, 다양한 도메인에서의 재현성 검증이 필요

Evaluation

총평: AI-assisted research의 신뢰성 문제를 human-owned protocol이라는 명확한 철학과 정보이론적 근거로 접근한 흥미로운 시도이나, 파일럿 규모가 작고 평가 방법론이 충분히 상세히 제시되지 않아 실증적 설득력은 제한적이다.