Xolver: Generalist Reasoning and Problem Solving through Federated Multi-Agent Dynamics and Holistic Experience Learning

Motivation

• Known: 기존 연구는 retrieval/reflection을 통한 cross-problem 신호 활용(단일 에이전트·단일 패스), tool-augmented agent를 통한 정밀도 향상(재사용 가능한 trajectory 없음), 그리고 debate/panel/cascade 같은 multi-agent collaboration을 통한 문제 내 협업(raw peer text 공유)이라는 세 갈래로 발전해왔다.
• Gap: LLM은 문제 간에는 이전 reasoning trace, tool call, verifier feedback을 즉시 폐기하고, 문제 내에서는 여러 샘플링을 해도 서로 비교·평가·재사용할 채널이 없다는 이중의 고립 문제를 겪는다. 또한 기존 multi-agent 방법들은 raw peer text를 그대로 조건화함으로써 debate의 anchoring, panel의 합의 하 소수 정답 희석, cascade의 초기 오류 전파라는 공통된 병리를 갖는다.
• Why: 이 문제를 해결하면 training 없이도 다양한 reasoning, agentic, coding 벤치마크에서 기존의 특화된 collaborative·tool-using·memory-augmented agent 시스템들을 능가할 수 있으며, 가벼운 backbone으로도 훨씬 큰 proprietary 모델을 뛰어넘는 성능을 달성할 수 있어 실용적 가치가 크다.
• Approach: raw peer text 공유라는 병리의 근본 원인을 제거하기 위해, agent들이 독립적으로 전체 문제를 재해결하고 judge가 고정 크기 top-m 버퍼를 큐레이션하여 다음 라운드가 이 버퍼에만 조건화되도록 하는 federated agent learning 구조와, episodic·intermediate memory를 결합한 dual-memory 추론 알고리즘을 제안한다.

Achievement

1. Holistic Experience(HE) 정식화: 인간의 네 가지 문제해결 경험 원천을 retrieval+judge, self-retrieval, tool use, federated solving이라는 구체적 추론 메커니즘에 매핑하는 typed formalism을 제시하여 성능 향상의 원천을 귀속시킬 수 있는 어휘를 제공했다.
2. Federated Agent Learning(FAL): debate/panel/cascade를 대체하는 data-parallel 구조로, agent 독립성으로 anchoring을 깨고 judge-gating으로 오류를 걸러내며 top-m retention으로 다양한 전략 계보를 보존한다.
3. Dual-memory 추론 알고리즘: quality-gated insertion과 relevance/recency/novelty eviction 규칙을 갖춘 episodic·intermediate memory 결합 구조로 경험을 지속적으로 축적한다.
4. 광범위한 실증 검증: GSM8K, Math-500, AIME, LiveCodeBench, GAIA, BrowseComp, OSWorld, HLE, SWE-bench Verified, GPQA Diamond, SQuAD2.0, 2WIKI, Bamboogle 등 14개 벤치마크에서 OctoTools, Search-o1, AWorld, OpenHands, OAgents, Agent S2.5 등 특화 시스템 대비 일관된 우위를 입증했다.
5. 경량 backbone으로도 SOTA 능가: QWQ-32B 같은 가벼운 backbone으로도 Qwen3-235B, Gemini 2.5 Pro, o3 등 훨씬 큰 proprietary 모델을 능가하며, o3-mini-high 같은 강한 backbone에서는 새로운 SOTA를 달성했다.

How

• Planner Agent P: 문제 q와 agent 수 m이 주어지면 역할이 다른 m개의 dynamic agent 팀 A를 구성하며, M>m개의 후보 agent를 과생성한 뒤 가장 효과적인 부분집합을 선택한다.
• Dynamic Reasoning Agents A: 각 agent는 고유 전문가 역할(algebra solver, programmer, counter-example generator 등)을 부여받고, 표준화된 프롬프트 템플릿(과제 설명, 역할, retrieved examples, 이전 reasoning 시도, shared memory feedback 포함)으로 인스턴스화되어 반복적 자기수정과 역할 특화를 수행한다.
• Federated Agent Learning: 각 iteration에서 agent들이 독립적으로 전체 문제를 재해결하고, LLM Judge Agent가 결과를 순위화하여 top-m개만 고정 크기 버퍼에 유지하고 다음 라운드는 이 버퍼에만 조건화한다.
• Dual-memory: episodic memory DE(과거 문제·해법·reasoning trace 라이브러리)와 intermediate dynamic shared memory DS(고품질 agent trajectory를 보존)를 결합하며, quality gate(judge 통과 시에만 삽입)와 relevance/recency/novelty 기반 eviction 정책으로 관리한다.
• Tool & Verifier: 외부 toolset T(예: Python interpreter)로 정확한 계산을 지원하고, verifier/debugger V가 최종 답을 추출·포맷팅하며 실행 가능한 출력의 정확성을 검증한다.
• 수렴하거나 최대 step에 도달할 때까지 반복하고 최종 검증을 거쳐 답을 산출한다.

Originality

• raw peer text 공유라는 기존 multi-agent collaboration(debate/panel/cascade)의 공통 substrate를 문제의 근원으로 지목하고, 이를 judge-curated fixed-size 버퍼로 대체한다는 통합적 관점이 독창적이다.
• 인간 문제해결 경험(mentorship, prior-self, tool mastery, peer collaboration)을 구체적 inference-time 메커니즘에 대응시키는 typed formalism(Holistic Experience)을 제시하여 성능 기여를 원천별로 귀속 가능하게 만들었다.
• episodic memory와 intermediate shared memory를 quality gate 및 relevance/recency/novelty eviction으로 결합한 dual-memory 설계가 새롭다.

Limitation & Further Study

• 발췌된 본문에서는 ablation과 한계 분석(Fig. 2, Fig. 5 등)의 구체적 수치와 논의가 충분히 드러나지 않아, judge 강도나 backbone 선택에 따른 취약점을 정확히 평가하기 어렵다.
• training-free를 표방하지만 다수의 agent와 반복 라운드, judge 호출로 인한 계산·비용 오버헤드에 대한 정량적 분석이 본문 발췌에서는 명확히 제시되지 않았다.
• judge agent 자체의 신뢰성에 성능이 크게 의존하는 구조로 보이며, judge가 잘못 판단할 경우의 실패 모드나 이를 완화하는 방법에 대한 후속 연구가 필요하다.
• 다양한 벤치마크에서 우수한 성능을 보였다고 주장하나, 특정 도메인(예: 매우 open-ended한 real-world task)에서의 일반화 가능성과 실제 배포 환경에서의 확장성 검증이 추가로 필요하다.

Evaluation

총평: 인간의 다면적 문제해결 경험을 체계화하고 이를 federated agent learning과 dual-memory 구조로 구현한 training-free 프레임워크로, 폭넓은 벤치마크에서 강력한 실증 결과를 보여주는 인상적인 연구이나 judge 의존성과 계산 비용에 대한 심층 분석이 추가되면 더욱 완성도가 높아질 것이다.