SkillX: Automatically Constructing Skill Knowledge Bases for Agents

Motivation

• Known: 기존 연구들은 self-evolving agent가 과거 실행을 reflection하여 점진적으로 개선되도록 하거나, insights, workflows, trajectories 등의 형태로 경험을 표현하여 재사용하는 방법을 탐구해왔다. Claude Skills와 같이 long-context, progressive disclosure 방식의 skill 표현도 제안된 바 있다.
• Gap: 기존 self-evolving 패러다임은 각 agent가 고립되어 학습하며(Isolated Learning), 제한된 학습 데이터로 인해 마이닝된 경험이 새로운 task로 잘 일반화되지 않고(Weak Generalization), agent 자신의 탐색과 reflection만으로 경험을 얻기 때문에 agent의 현재 능력 수준에 의해 추출 가능한 경험이 제한된다(Model Capability Bottleneck)는 구조적 한계가 있다. 또한 Claude Skills와 같은 기존 skill 기반 설계는 long-context, progressive disclosure에 의존하여 복잡한 sandboxing 시스템과 다중 상호작용을 요구하므로 강건한 추론과 실질적 재사용에 제약이 있다.
• Why: 여러 agent와 환경에 걸쳐 전이 가능하고, 효율적으로 검색 가능하며, 직접 실행 가능한 경험 표현 형태를 찾는 것은 LLM 기반 agent가 경험을 누적하고 재사용하는 지능형 시스템으로 발전하기 위한 핵심 문제이며, 특히 약한 base agent의 성능을 강한 agent의 경험으로 향상시킬 수 있다면 실용적 가치가 크다.
• Approach: SkillX는 강력한 backbone agent가 학습 task에 대해 rollout을 수행하고 성공적인 trajectory로부터 3단계(planning, functional, atomic) skill을 추출한 뒤, 실행 피드백에 기반한 반복적 정제(Iterative Skills Refinement)와 새로운 skill을 능동적으로 생성·검증하는 탐색적 확장(Exploratory Skill Expansion)을 통해 plug-and-play skill library를 완전 자동으로 구축한다.

Achievement

Figure 4. AppWorld benchmark case study: Updating Spotify playlist based on roommates’ suggestions. SkillX successfully

1. Plug-and-play skill library 구축: GLM-4.6을 backbone agent로 사용하여 AppWorld, BFCL-v3, τ²-Bench와 같은 도전적인 long-horizon, user-interactive benchmark에서 신뢰할 수 있는 skill library를 사전 구축하였다.
2. 약한 agent로의 전이 성능 입증: 구축된 skill library를 Qwen3-32B와 같은 더 약한 base agent에 직접 plug-in했을 때 약 10%의 성능 향상과 실행 효율성 개선을 달성하였다.
3. 다단계 skill 설계의 우위 검증: multi-level skill 표현이 experience representation에서 우수함을 입증하고, iterative refinement와 skill expansion이 추가적인 성능 향상을 제공함을 확인하였다.
4. hierarchical skill representation 및 프레임워크 공개: 원시 trajectory를 재사용 가능한 planning, functional, atomic skill로 변환하는 hierarchical skill representation을 제안하고, 완전 자동화된 확장 가능한 SkillX 프레임워크와 결과 skill library를 공개하였다.

How

Figure 2. SkillX provides an automated, iterative pipeline for constructing a skills library, integrating skills extract

• Multi-Level Skills Design: 도구 중심 agent 시나리오에서 skill을 D = Splan ⊕ Sfunc ⊕ Satomic로 구조화. atomic skill은 단일 tool에 대한 확장된 의미론적 명세(제약, 사용 패턴 등), functional skill은 여러 tool의 조합으로 구성된 subtask 수행을 위한 macro-operation, planning skill은 subtask들의 순서·의존성·분기 등 조직 구조를 표현.
• Rollout 및 Skill 추출: 주어진 task에 대해 m-sized rollout을 수행하여 trajectory를 수집하고, skill extractor f를 이용해 성공적인 trajectory로부터 비본질적인 탐색·백트래킹·시행착오 행동을 필터링하고 장황한 환경 피드백을 요약하여 planning skill을 포함한 다단계 skill을 추출.
• Iterative Skills Refinement: 실행 피드백을 기반으로 skill을 자동으로 통합(consolidation) 및 검증(validation)하여 라이브러리 품질을 지속적으로 개선.
• Exploratory Skill Expansion: 학습 데이터에서 저활용된 tool과 실패 유발 행동을 목표로 새로운 skill을 능동적으로 생성·검증하여 seed training data를 넘어서는 커버리지 확장.
• Skill-conditioned execution: retrieval function ρ가 task q에 대해 관련 skill subset Sq를 검색해 시스템 프롬프트에 일회성으로 주입, 이후 정책 π가 이 Sq를 조건으로 trajectory를 생성.

Originality

• 경험을 monolithic behavior가 아닌 planning/functional/atomic의 3단계 계층으로 표현하는 hierarchical skill representation을 새롭게 제안.
• Claude Skills의 long-context, progressive disclosure 방식과 달리, itemized 표현을 경량 retrieval 모듈로 검색하여 system prompt에 일회성 주입하는 방식으로 base model 간 전이성을 개선.
• 단일 agent의 self-reflection에 그치지 않고, 강한 backbone agent가 사전 구축한 skill library를 약한 agent에 plug-and-play로 이식하는 패러다임 전환을 시도.
• iterative refinement와 exploratory expansion을 결합하여 skill library가 초기 학습 분포를 넘어서 지속적으로 품질과 커버리지를 확장하도록 설계.

Limitation & Further Study

• 발췌된 본문에서는 skill 추출, 정제, 확장의 구체적 알고리즘(예: consolidation/validation의 세부 기준, exploratory expansion의 novelty 검증 방법)이 충분히 상세히 제시되지 않아 재현성 검증이 어려움.
• 실험이 AppWorld, BFCL-v3, τ²-Bench 세 벤치마크에 국한되어 있어, 더 다양한 도메인(예: 코딩, 로보틱스)에서의 일반화 가능성은 추가 검증이 필요.
• backbone agent로 GLM-4.6 단일 모델만 사용했는데, 다양한 강한 backbone agent 간 skill library 품질 차이나 최적 backbone 선택 기준에 대한 분석이 부족.
• skill library의 규모가 커질 때 retrieval 정확도 저하나 skill 간 충돌·중복 문제에 대한 장기적 확장성 분석이 필요해 보임.

Evaluation

총평: 경험 재사용을 위한 hierarchical skill representation과 완전 자동화된 구축 파이프라인을 제안하여 약한 agent의 성능을 실질적으로 향상시킨 실용적이고 참신한 연구로, 특히 강한 agent의 경험을 약한 agent에 전이하는 plug-and-play 패러다임이 인상적이다.