How Claude Code is used in practice \ Anthropic

Motivation

• Known: 대규모 언어 모델의 코딩 능력 향상과 AI 에이전트의 자율성 증대에 대한 선행 연구들이 존재하며, AI 도구가 지식 노동 시장에 미치는 영향에 대한 관심이 증가하고 있다. 특히 도메인 전문성이 작업 성과에 미치는 영향은 노동경제학에서 오래된 관심사이다.
• Gap: 실제 프로덕션 환경에서 agentic coding 도구가 어떻게 사용되는지, 도메인 전문성이 AI 협업 효율성에 어떤 구체적 영향을 미치는지, 그리고 시간경과에 따른 작업 가치 변화에 대한 실증적 증거가 부족했다.
• Why: AI 에이전트의 자율성이 급증하는 시점에 실제 사용 패턴을 이해하는 것은 노동 시장 전환을 예측하고 정책을 수립하는 데 중요하다. 특히 비소프트웨어 직종도 AI 코딩 도구를 성공적으로 사용할 수 있는가는 광범위한 경제적 함의를 갖는다.
• Approach: privacy-preserving 분석으로 2025년 10월부터 2026년 4월 사이의 약 400,000개 Claude Code 세션을 수집하고, (1) 9가지 작업 모드로 세션 분류, (2) 의사결정 귀속 분류기로 planning vs execution 결정 추적, (3) 사용자 도메인 전문성 5단계 평가, (4) 작업 가치를 freelance 직업 시세와 비교하여 추정한다.

Achievement

Figure 5: Expertise and how sessions end

• 작업 구성 맵핑: 코딩 작업(writing, fixing, testing) 56%, 소프트웨어 운영 17%, planning/exploring 14%, 분석/문서화 13%로 분류
• 의사결정 분업 패턴: 사용자는 planning 결정의 70%를, Claude는 execution 결정의 80%를 담당
• 도메인 전문성의 효과: 전문가 세션에서 Claude는 초보자 대비 2배 이상의 action chains(12 vs 5) 수행
• 성공률: 모든 직종이 소프트웨어 엔지니어와 거의 동등한 성공률 달성
• 가치 상승: 7개월간 typical task의 가치가 평균 25% 증가, 특히 end-to-end agentic use 증가

How

Figure 2: Claude’s share of planning and execution decisions

• Privacy-preserving decision attribution classifier: 세션 내용을 분석하여 모든 의미있는 결정을 나열하고 planning(what to do) vs execution(how to do it)으로 분류한 후 Claude 또는 사용자에게 귀속
• Expertise classifier: 사용자 지시의 정밀성, Claude에게 요청하는 검증 내용, 오류 정정 패턴 등 3가지 신호로 task-specific 전문성을 5단계로 평가
• Session mode classification: 모델이 세션 기록을 읽고 자동 telemetry(코드 변경량 등)와 대조하여 검증(90% 이상 일치율)
• Task value estimation: freelance job posting 데이터베이스와 비교하여 작업의 시장 가치 추정

Originality

• 대규모 실제 사용 데이터(400,000+ 세션)를 기반한 최초의 체계적 agentic coding 실증 분석
• Task-specific 도메인 전문성과 AI 협업 효율성의 quantitative 관계 규명
• Planning vs execution 결정의 분업 구조를 formal classification으로 명확히 함
• 노동 시장 가치 변화를 freelance 시세와 연동한 창의적 추정 방식

Limitation & Further Study

• 데이터 범위: Claude Code 사용자만 포함되어 다른 agentic coding 도구(GitHub Copilot X, Devin 등)와의 비교 불가
• Causality 제한: 도메인 전문성과 성공률의 관계가 인과적인지 선택 편향인지 구분 어려움
• 분류기 오류: decision attribution, expertise classifier의 오류 율이 공식적으로 보고되지 않음
• 시간 범위: 7개월 데이터로는 장기 노동 시장 영향 추정 어려움
• 후속연구 필요: 코딩 경험이 전혀 없는 사용자 세분 분석, 다양한 도메인에서의 성공 메커니즘, 도구 개선이 expertise gap에 미치는 영향

Evaluation

총평: 본 논문은 실제 agentic coding 환경에서의 인간-AI 협업 구조를 대규모 데이터로 처음 명확히 보여주는 중요한 실증 연구이다. 도메인 전문성이 AI 도구 활용의 핵심 결정요인임을 입증함으로써 AI로 인한 노동 치환보다 보완 효과를 시사한다. 다만 인과성 규명과 다른 도구와의 비교 연구가 필요하며, 분류기의 신뢰성 평가 정보 부재가 기술적 완성도를 다소 떨어뜨린다.