/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/229_Cocoa_Co-planning_and_co-execution_with_ai_agents

Motivation

• Known: 기존 human-agent 협업 시스템은 agent-guided workflow(에이전트가 사용자 개입 시점과 방식을 결정) 또는 user-guided workflow(사용자가 전체 계획을 통제하고 에이전트는 하위 작업만 실행)로 나뉘며, 대부분 planning과 execution을 분리된 단계로 취급한다. ReAct와 같은 완전 자율 프레임워크는 planning과 execution을 interleave하여 부분 실행 결과에 따라 계획을 재조정하는 이점을 보였다.
• Gap: 기존 시스템들은 사용자와 에이전트 간의 agency(주도권)를 환경적 맥락이나 사용자 선호에 따라 유연하게 위임할 수 있는 장치가 부족하며, planning과 execution을 완전히 분리된 경직된 단계로 다루어 실행 결과에 따른 반복적 계획 조정이 어렵다는 한계가 있다.
• Why: 지식 집약적이고 도메인 전문성이 요구되는 과학 연구와 같은 작업에서, 계획과 실행이 실제로는 서로 깊이 얽혀 있으므로 이 둘을 유연하게 넘나들며 인간과 에이전트 간 주도권을 자유롭게 위임할 수 있는 인터랙션 디자인이 agent 성능, 사용자 통제감, 신뢰, 안전성 향상에 중요하다.
• Approach: 9명의 연구자를 대상으로 한 형성적 연구(formative study)를 기반으로, computational notebook의 디자인에서 영감을 받아 사용자와 AI agent가 문서 내에서 계획 단계를 공동으로 편집·할당하고 상호 재실행할 수 있는 Cocoa 시스템을 설계·구현했다.

Achievement

An overview of the Cocoa user interface. An interactive plan (A) affords human-agent co-planning and co-execution:

1. 형성적 연구 기반 디자인 원칙 도출: 9명의 연구자 인터뷰를 통해 human-agent 협업에서 planning과 execution 간 유연한 agency 위임의 필요성을 확인함.
2. Cocoa 시스템 구현: 문서 편집기 내에서 co-planning과 co-execution을 인터리빙하는 인터랙티브 시스템을 개발함(단계별 할당, 상호 편집 가능한 sidebar 등).
3. 실험실 연구(n=16) 검증: 강력한 chat 기반 baseline 대비 ease-of-use를 희생하지 않으면서도 steerability(조향성)를 향상시킴을 입증함.
4. 7일간 현장 배포 연구(n=7): 실제 연구 업무에서 연구자들이 self-/AI-assigned step을 활용해 agency를 유연하게 위임하고 전문성을 워크플로우에 반영함을 보여줌.

How

A user invokes the agent on a piece of text in the document by clicking on the “Invoke agent” button that appears on

• 9명의 AI 활용 연구자 대상 formative study 실시, 협업 방식에 대한 니즈 도출
• Cocoa 시스템 설계: 문서 편집기 내 interactive plan(steps를 사용자 또는 agent에게 할당 가능), computational notebook 스타일의 cell 실행 방식 차용
• Co-planning: agent가 계획 제안 → 사용자가 단계 편집/추가/할당 가능
• Co-execution: 사용자와 agent가 각 단계를 공동으로 완료, 중간 결과를 interactive sidebar에서 수정 가능
• Interleaving: 실행 결과를 바탕으로 계획을 재조정하고 다시 실행하는 흐름을 지원
• 평가: (1) 16명 대상 실험실 연구로 chat baseline과 비교, (2) 7명 대상 7일 현장 배포 연구로 실사용 관찰

Originality

• planning과 execution을 완전히 분리된 단계로 다루던 기존 접근과 달리, 두 단계를 문서 내에서 인터리빙하며 자유롭게 전환할 수 있게 한 점
• computational notebook의 cell 기반 실행 패러다임을 human-agent collaboration에 창의적으로 적용
• 사용자와 agent 간 agency를 단계별로 명시적으로 할당할 수 있는 공유 표현(shared representation of tasks, roles, progress)을 도입
• agent-guided 혹은 user-guided로 이분화되던 기존 워크플로우 분류를 넘어 유연한 mixed-initiative 상호작용을 실증적으로 구현

Limitation & Further Study

• 연구 대상이 과학 연구자 및 문서 기반 작업에 국한되어, 다른 도메인(예: 코딩, 웹 브라우징)으로의 일반화 가능성은 추가 검증이 필요함
• lab study와 7일 배포 연구의 표본 크기가 각각 16명, 7명으로 비교적 작아 통계적 일반화에 한계가 있음
• 장기간(수 주~수개월) 사용 시 협업 패턴의 변화나 피로도, 신뢰 형성 과정에 대한 종단적 분석이 부족함
• 향후 연구로는 다양한 도메인 적용, 더 큰 규모의 정량적 평가, 그리고 agency 위임 패턴의 자동 추천 메커니즘 개발 등이 제안될 수 있음

Evaluation

총평: Cocoa는 human-agent 협업에서 planning과 execution의 경직된 분리를 극복하고 유연한 agency 위임을 가능하게 하는 실용적이고 창의적인 시스템으로, formative study부터 실험실 연구, 현장 배포까지 체계적인 사용자 중심 평가를 거쳐 설득력 있는 결과를 제시한다.