AlphaApollo: A System for Deep Agentic Reasoning

Motivation

• Known: 기존 연구에서는 prompting과 post-training을 통해 foundation model의 reasoning 능력을 향상시키거나, 도구(tool) 호출을 통한 agentic reasoning으로 복잡한 문제를 해결하는 접근이 알려져 있다. 또한 test-time에 여러 후보 solution을 생성하고 self-reflection이나 verification을 통해 답을 개선하는 방법들도 연구되어 왔다.
• Gap: 모델 고유의 추론 능력은 next-token prediction과 사전학습 prior에 의해 제약되어 있으며, ground-truth 검증 없이 이루어지는 test-time evolution은 모델 자신의 주관적 판단에 의존해 신뢰성이 떨어진다. 또한 확장 가능한 병렬 evolution과 장기적(long-horizon) memory 메커니즘이 충분히 탐구되지 않았다는 gap이 존재한다.
• Why: 복잡하고 긴 horizon을 갖는 수학 추론 문제 등 frontier 문제에서 단일 모델 추론만으로는 성능이 부족하며, GPT-5나 Gemini 2.5 Pro와 같은 최신 모델도 Humanity's Last Exam, ARC-AGI-2 같은 벤치마크에서 낮은 성능을 보이는 만큼, 도구 활용과 신뢰성 있는 test-time 개선을 결합한 시스템적 접근이 실제 응용의 신뢰성 확보에 중요하다.
• Approach: 모델과 도구(tool)를 구조화된 action-feedback 상호작용으로 orchestrate하고, turn 단위로 RL을 적용해 action과 tool response를 분리함으로써 안정적인 학습을 달성하며, 여러 에이전트가 협력하는 propose-judge-update 루프와 장기 memory로 test-time에 solution을 반복 개선한다.

Achievement

Figure 3. Illustration of multi-turn agentic RL in AlphaApollo.

1. 신뢰성 있는 tool 사용: 여러 데이터셋에서 85% 이상의 tool-call 성공률을 달성하여 agentic reasoning의 실용성을 입증했다.
2. multi-turn RL을 통한 대폭적 성능 향상: 소규모 모델(Qwen2.5-1.5B/3B/7B)에서 Avg@32 지표 기준 최대 9배에 달하는 성능 개선을 이뤄냈다(예: Qwen2.5-1.5B는 1.07%→9.64%, Qwen2.5-7B는 8.77%→20.35%).
3. test-time agentic evolution의 일관된 개선: 여러 모델 스케일(Qwen2.5-3B/7B/14B)에서 propose-judge-update 루프를 통해 지속적인 성능 향상을 확인했다(예: Qwen2.5-14B는 16.53%→21.08%).
4. 일곱 개 수학 추론 벤치마크와 다양한 모델 스케일에 대한 광범위한 실증 검증을 통해 시스템의 일반성을 보였다.

How

Figure 4.

• Multi-turn agentic reasoning: 각 turn에서 모델이 prompt p_t를 받아 사고(think) 후 tool call 또는 최종 답을 출력하고, 환경이 tool을 실행해 feedback f_t를 반환하는 구조로, trajectory τ_t = (p_t, o_t, f_t)를 누적해 dynamic memory로 활용. 종료 조건은 최종 답 생성 또는 최대 turn 수 T_max 도달.
• Multi-turn agentic learning: VeRL 프레임워크 기반으로 turn-level GRPO 및 turn-level SFT를 적용. 모델이 생성한 토큰 o_t만 최적화 대상으로 삼고 환경 feedback f_t(non-model-generated tokens)는 마스킹하여 학습 안정성 확보. reward는 trajectory 전체 정답 여부에 기반해 turn별로 baseline과 표준편차로 정규화된 advantage를 계산.
• Multi-round agentic evolution: Solver, Evaluator, Abstractor, Summarizer 등 여러 전문화된 agent를 조율하는 propose-judge-update 루프를 R회 반복. 각 라운드에서 candidate solution ŝ^(r)과 판단 j^(r)을 생성해 memory entity로 장기 memory M에 저장하고, 다음 라운드에 검색(retrieve)하여 조건화함으로써 tool-assisted verification과 selective memory 기반 refinement 수행.

Originality

• 단일 개선 기법이 아니라 reasoning, learning, evolution 세 요소를 하나의 통합 시스템으로 결합해 model-intrinsic capacity와 test-time reliability라는 두 병목을 동시에 겨냥한 시스템적 설계.
• turn-level 최적화를 도입해 tool response(non-model 생성 토큰)를 마스킹하고 action만 최적화함으로써 multi-turn RL/SFT의 학습 불안정성 문제를 다루는 방법론적 기여.
• propose-judge-update 루프에 장기 memory 모듈을 결합해 test-time에 여러 모델(agent)이 협력적으로 solution을 진화시키는 novel한 multi-agent evolution 메커니즘 제안.

Limitation & Further Study

• 실험이 수학 추론 벤치마크(7개)에 집중되어 있어 생물학, 화학, 헬스케어 등 저자들이 언급한 다른 도메인으로의 일반화 가능성은 검증되지 않았다.
• multi-round evolution에서 memory 모듈의 확장성(장기적으로 매우 많은 memory entity가 누적될 때의 retrieval 효율성 및 정확도)에 대한 구체적 분석이 부족해 보인다.
• turn-level RL의 안정성 개선이 trajectory-level 최적화 대비 실제로 얼마나 우수한지에 대한 직접적 ablation 비교가 본문 발췌에서는 충분히 제시되지 않았다.
• 대형 모델(예: 70B 이상)에서의 확장성 및 비용(다중 agent, 다중 라운드로 인한 연산 비용) 분석이 추가로 필요하다.

Evaluation

총평: reasoning, 학습, test-time evolution을 통합한 실용적이고 체계적인 agentic reasoning 시스템으로, 다양한 모델 스케일에서 일관된 성능 향상을 실증적으로 보여준 견고한 시스템 논문이다. 다만 수학 도메인에 국한된 검증과 memory 확장성에 대한 추가 분석이 향후 과제로 남아있다.