AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

Motivation

• Known: Multi-agent debate/aggregation 방식은 여러 agent가 서로 다른 reasoning path를 탐색하도록 하여 단일 agent 대비 성능을 향상시키는 것으로 알려져 있으며, prompt optimization 및 self-evolution 연구들은 단일 agent나 pipeline 수준에서 reasoning skill을 자동으로 개선해왔다.
• Gap: 그러나 기존 multi-agent 방법들은 inference-time debate/합의에 의존하여 잘못된 peer 영향과 편향된 consensus에 취약하고 계산 비용이 크며, agent 자체의 underlying reasoning skill은 task를 거치며 진화하지 않고 정적으로 남아있다는 한계가 있다.
• Why: 본 연구는 multi-agent 협력을 매 추론마다 반복하는 대신, 집단 상호작용을 통해 agent들의 reasoning skill 자체를 지속적으로 진화시켜 재사용 가능한 절차적 지식을 학습하게 함으로써, 비용이 큰 test-time debate 없이도 강건하고 전이 가능한 성능 향상을 달성할 수 있음을 보인다는 점에서 중요하다.
• Approach: AgentPSO는 각 agent를 자연어 skill 상태(state) sᵢ와 semantic update direction인 velocity vᵢ를 가진 particle로 모델링하고, personal-best skill p, global-best skill g, 그리고 peer reasoning trajectory로부터 도출한 self-reflective direction d를 결합해 PSO-inspired 규칙으로 skill을 반복 업데이트한다.

Achievement

Figure 2. Progressive improvement of AgentPSO-evolved skills. (Left) Evolved personal-best and global-best skills outper

1. 성능 향상: mathematical 및 general reasoning benchmark에서 AgentPSO가 static single-agent skill과 test-time-only multi-agent debate/aggregation baseline들을 능가함을 실험적으로 입증하였다.
2. 지속적 진화 및 self-reflection 효과: 학습 iteration이 진행됨에 따라 evolved skill의 성능이 점진적으로 향상되며, self-reflective direction이 성능 개선에 크게 기여함을 분석을 통해 확인하였다.
3. 일반화 및 전이 가능성: evolved skill이 서로 다른 benchmark 간에, 그리고 다른 backbone model로도 전이되어, AgentPSO가 benchmark-specific prompt를 단순 최적화하는 것이 아니라 재사용 가능한 reasoning procedure를 학습함을 시사하였다.

How

Figure 1. Overview of AgentPSO. Each agent independently solves the training batch with its current skill, producing ans

• 각 agent가 현재 skill sᵢᵗ로 train batch를 독립적으로 풀어 answer와 reasoning trace를 생성 (Independent solving)
• 다른 agent들의 reasoning trace와 정답 여부를 요약한 Peer Observation Oᵢᵗ를 구성
• Oᵢᵗ와 sᵢᵗ로부터 Reflect(sᵢᵗ, Oᵢᵗ)를 통해 self-reflective direction dᵢᵗ 도출
• validation batch에서 성능을 평가하여 personal-best skill pᵢᵗ와 population 전체의 global-best skill gᵗ를 갱신
• VelocityUpdate(vᵢᵗ, dᵢᵗ, sᵢᵗ, pᵢᵗ, gᵗ)로 velocity vᵢᵗ⁺¹를 계산하고, SkillUpdate(sᵢᵗ, vᵢᵗ⁺¹)로 다음 skill sᵢᵗ⁺¹를 생성하는 PSO-like update 수행
• test 시에는 진화된 agent들이 독립적으로 문제를 풀고 majority voting으로 답을 aggregation하여 costly한 multi-round interaction 없이 최종 답을 산출

Originality

• PSO의 개인 최적(personal-best)과 집단 최적(global-best) 갱신 규칙을 자연어 공간(semantic space)의 agent skill 진화에 최초로 적용한 시도
• 기존 PSO를 그대로 적용할 경우 agent가 단순히 강한 skill을 모방(copy)할 뿐 그 효과의 근본 원리를 습득하지 못한다는 문제를 지적하고, 이를 보완하기 위해 peer reasoning trajectory를 분석하는 self-reflective direction을 도입한 점
• inference-time debate 기반 multi-agent 협력을 population-level skill evolution 문제로 재정식화하여, 추론 비용 없이 재사용 가능한 reasoning behavior를 학습하도록 프레임워크를 설계한 점
• SwarmAgentic 등 swarm intelligence를 활용한 기존 연구와 달리 agent 기능/구조 자체가 아닌 reasoning skill의 semantic evolution에 초점을 맞춤

Limitation & Further Study

• 본 발췌본에서는 velocity update와 skill update의 구체적 수식(자연어 space에서의 combination 방식)이 명확히 제시되지 않아 재현성 및 이론적 엄밀성 검증이 어려움
• self-reflective direction을 도출하는 Reflect 연산이 LLM 자체에 의존할 가능성이 높아 backbone model의 reflection 능력에 따라 성능 편차가 클 수 있음
• population 크기, iteration 수 증가에 따른 계산 비용(여러 agent의 반복적 train/validation 평가) 분석이 부족해 실제 확장성에 대한 논의가 필요함
• 후속 연구로는 velocity의 semantic 표현을 더 정교하게 정의하거나, PSO 외 다른 population-based 최적화 기법과의 비교, 그리고 더 다양한 backbone/도메인에 대한 전이 실험이 필요함

Evaluation

총평: PSO의 population-based 탐색 개념을 자연어 skill 진화에 창의적으로 적용하고 self-reflective direction으로 보완한 참신한 시도로, multi-agent reasoning의 정적 skill 문제를 잘 짚었으나 구체적 알고리즘 세부사항과 확장성에 대한 추가 검증이 필요한 workshop-급 연구이다.