Skill-Synthesizer: Query-Aware Skill Synthesis for Scientific Reasoning

Motivation

• Known: Reflexion, ACE, Dynamic Cheatsheet 같은 test-time 경험 학습 방법과 SkillRL, Memento, Meta Context Engineering 같은 skill 기반 agentic memory 시스템은 이전 trajectory로부터 재사용 가능한 절차적 지식(skill)을 저장하고, 유사한 스킬을 검색해 agent의 context에 주입함으로써 성능을 향상시킬 수 있음이 알려져 있다.
• Gap: 기존 skill 기반 메모리 시스템은 스킬 전체를 통째로 검색해 그대로 context에 주입할 뿐, 스킬 내용이나 스킬 간 관계에 대해 추론하지 않는다. 이는 관련 지식이 여러 스킬에 흩어져 있거나, 검색된 스킬이 현재 과제와 부분적으로만 관련될 때 노이즈를 유발하고 context 길이 제한에 부딪히는 등 최적이 아니다.
• Why: 과학적 추론, 특히 대학원 수준 물리학 문제는 여러 출처의 이론적 원리와 절차적 지식을 통합해야 해결 가능하므로, 스킬을 단순 검색-주입하는 방식이 아니라 질의에 맞춰 동적으로 결합·합성하는 능력이 agentic 과학 workflow의 성능을 좌우하는 핵심 요소이다.
• Approach: 스킬 라이브러리에서 전체 스킬이 아닌 관련 passage(세그먼트) 단위로 검색한 뒤, 전담 Skill-Synthesizer agent가 이들 passage 간 상호보완 관계를 추론하고 Python 코드 실행으로 중간 단계를 검증하면서 하나의 실행 가능한 query-specific skill로 조합한다.

Achievement

Figure 2. Normalised per-question improvement compared to the

1. 일관된 성능 우위: UGPhysics와 PHYSICS 두 물리학 벤치마크에서 모든 retrieval baseline 대비 정확도와 추론 건전성(reasoning soundness) 양쪽에서 일관되게 우수한 성능을 보였다.
2. 대학원 수준 벤치마크에서의 강력한 개선: 다른 어떤 retrieval 방법도 memoryless baseline 대비 유의미한 개선을 이루지 못한 어려운 PHYSICS(대학원 수준) 벤치마크에서 Skill-Synthesizer만 뚜렷한 향상을 달성했다.
3. 실용적 제약 해소: SkillRL의 추가 파인튜닝, Memento의 학습된 retriever, Meta Context Engineering의 반복적 test-time 최적화 루프 없이도, frontier reasoning model에 바로 적용 가능한 방식으로 구현되었다.

How

Figure 1. A: in the standard approach, a single skill (or a few skills)

• 스킬을 .md 파일 형태의 절차적 메모리로 구현하고, 이름이 명확한 파일(예: adiabatic-invariance-particle-in-...)로 저장하여 스킬 라이브러리를 구성한다.
• 새로운 query가 들어오면 스킬 전체가 아니라 관련성이 높은 passage(스킬의 세그먼트)들을 검색한다.
• 검색된 passage들을 Skill-Synthesizer agent에 전달하여, 각 passage가 서로 어떻게 보완되는지 reasoning하고 하나의 통합된 실행 가능 절차(executable procedure)로 재구성한다.
• 합성 과정에서 Python 실행 환경을 제공해, 중간 단계를 프로그램적으로 검증하고 기호 조작 및 도출된 표현식의 일관성을 확인한다.
• 최종적으로 만들어진 query-specific skill을 agent의 context에 주입하여 문제를 해결한다.
• UGPhysics와 PHYSICS 두 물리학 벤치마크에서 memoryless baseline 및 기존 retrieval 기반 방법들과 정확도·추론 품질을 비교 평가한다.

Originality

• 스킬 전체가 아닌 passage 수준의 세분화된 검색을 도입해, 관련 지식만 선별적으로 추출하는 fine-grained retrieval 방식을 제안했다.
• 검색된 passage들 간의 관계를 명시적으로 추론하고 코드 실행으로 검증하며 새로운 query-specific skill을 동적으로 합성하는 전담 synthesis agent 개념을 제시했다.
• 동시대 연구인 SkillGraph가 정적 그래프로 스킬 간 관계를 사전 계산하는 것과 달리, query 시점에 동적으로 관계를 추론·합성한다는 점에서 차별화된다.
• 별도의 retriever 학습, 모델 파인튜닝, 반복적 test-time 최적화 없이 frontier 모델에 바로 적용 가능한 경량 접근을 지향한다.

Limitation & Further Study

• 두 개의 물리학 벤치마크에 한정된 평가로, 화학·생물학 등 다른 과학 분야나 비-STEM 도메인으로의 일반화 가능성은 검증되지 않았다.
• Synthesizer agent 자체가 강력한 frontier reasoning model에 의존하므로, 모델 성능이 낮은 환경에서의 견고성은 불명확하다.
• passage 단위 검색의 세분화 기준(예: 청킹 방식)과 retrieval 정확도가 최종 합성 품질에 미치는 영향에 대한 세부 분석이 부족해 보인다.
• 합성 과정에서 발생하는 추가 계산 비용(코드 실행, 다중 reasoning 단계)에 대한 효율성·비용 분석이 제한적이다.
• 후속 연구로 스킬 라이브러리 규모가 매우 커졌을 때의 확장성, 그리고 물리학 외 다양한 과학적 추론 과제로의 확장이 필요하다.

Evaluation

총평: 스킬 기반 agentic memory의 근본적 한계인 '전체 스킬 검색-주입' 방식을 passage 수준 검색과 query-aware 합성으로 개선한 실용적이고 참신한 접근으로, 어려운 물리학 벤치마크에서 뚜렷한 개선을 보였다는 점에서 의미 있는 워크숍 논문이다. 다만 평가 도메인이 물리학에 국한되어 있어 일반화 가능성에 대한 추가 검증이 필요하다.