Evolutionary System Prompt Learning for Reinforcement Learning in LLMs

Motivation

• Known: LLM의 자기개선은 주로 self-reflection을 통한 context(prompt) 업데이트와 RL을 통한 weight 업데이트라는 두 가지 메커니즘으로 이루어져 왔으며, 각각 EvoPrompt, PromptBreeder, Reflexion 등 prompt 진화/자기반성 기법과 o1, R1 등 RL 기반 reasoning 향상 기법으로 발전해왔다.
• Gap: 기존 연구들은 model context(prompt)와 model weights를 각각 독립적으로 최적화해왔으며, 두 표현 수준(evolution over discrete structures vs. gradient-based parameter learning) 간의 시너지를 통합적으로 탐구한 연구는 부재했다.
• Why: 선언적 지식은 prompt에, 절차적 지식은 weights에 자연스럽게 나뉘어 인코딩되도록 하는 공동 최적화 프레임워크는 RL의 sample efficiency와 easy-to-hard generalization을 동시에 향상시킬 수 있어, 진정한 자기개선형 agentic 시스템 구축에 중요한 진전을 제공한다.
• Approach: 매 RL iteration마다 여러 system prompt 하에서 병렬로 trajectory를 샘플링한 뒤, LLM weights에는 policy gradient RL 업데이트를, system prompt 집단에는 LLM 자기반성 기반 mutation과 crossover라는 유전 연산을 적용하고 TrueSkill 기반 상대 성능 rating으로 selection을 수행한다.

Achievement

1. Easy-to-hard generalization 성능 향상: AIME→BeyondAIME 설정에서 RL 성공률을 38.8%→45.1%로 향상시켰으며, 이는 reflective prompt evolution 단독 사용(40.0%)보다 우수하다.
2. 다양한 reasoning benchmark에서 일관된 개선: DeepSeek v3.1 기반으로 AIME 2025에서 56.3%→60.6%, HMMT 2025 November test에서 50.0%→52.7%로 성능이 향상되었다.
3. Agentic task 성능 향상: gpt-oss-120b 기반 agentic search task에서 제한된 데이터로도 RL 성능을 44.2%→48.6%로 개선했다.
4. 해석 가능한 declarative 지식 발견: 학습된 system prompt들이 수학 문제 풀이를 위한 구체적 휴리스틱, 자기검증 전략, 실패 모드 회피 지침 등을 명시적으로 담고 있음을 보였다(Figure 4).

How

• 각 문제 x에 대해 population 내 M개의 system prompt 각각에서 N개의 rollout을 샘플링하고 각 prompt별 reward의 평균을 value estimate Vi로 사용하여 policy gradient를 계산, weights θ를 업데이트한다.
• 이미 RL 과정에서 생성된 rollout 데이터를 재사용하여 추가 연산 부담을 최소화하며, mutation과 crossover 연산을 위한 LLM 자기반성 기반 sampling server를 RL gradient 업데이트와 병렬로 수행한다.
• Selection은 RL iteration에 걸쳐 갱신되는 TrueSkill 상대 성능 rating을 기반으로 이루어진다.
• Mutation과 crossover는 각각 다른 context 구성 전략을 가진 LLM 자기반성을 통해 새로운 system prompt를 생성한다(Figure 5).

Originality

• Evolutionary algorithm과 RL을 서로 다른 표현 수준(prompt vs. weights)에서 단일 학습 루프 내에 긴밀하게 결합한 최초의 프레임워크 중 하나로, 별도의 agentic scaffold 없이 LLM post-training 설정에 직접 적용 가능하다.
• 기존 prompt 진화 연구(PromptBreeder, EvoPrompt 등)나 Darwin Gödel Machine과 달리, 시스템 프롬프트 진화와 모델 가중치 RL 업데이트를 동시에 하나의 루프에서 수행하며 RL이 생성한 데이터를 재사용해 유전 연산의 계산 오버헤드를 최소화한다.
• 선언적 지식(prompt)과 절차적 지식(weights) 간 자연스러운 역할 분담이라는 개념적 프레임을 제시하여 RL과 prompt 진화 간 시너지를 실증적으로 규명했다.

Limitation & Further Study

• 실험이 주로 수학 reasoning benchmark(AIME, HMMT, BeyondAIME)와 하나의 agentic search task에 국한되어 있어, 보다 다양한 agentic 환경(코딩, 멀티턴 대화, 도구 사용 등)으로의 일반화 가능성은 추가 검증이 필요하다.
• Population 크기 M, mutation/crossover 비율, TrueSkill 업데이트 빈도 등 진화 알고리즘의 하이퍼파라미터가 성능에 미치는 민감도 분석이 본문에서 충분히 다뤄지지 않은 것으로 보인다.
• 하나의 대규모 base model(DeepSeek v3.1, gpt-oss-120b)에 대해서만 검증되어, 모델 크기나 아키텍처에 따른 일반화 여부는 후속 연구가 필요하다.
• Prompt population을 유지하고 여러 system prompt 하에서 병렬 rollout을 생성하는 데 따른 계산/메모리 비용에 대한 정량적 분석이 부족해 실제 스케일업 시의 실용성 평가가 추가로 요구된다.

Evaluation

총평: RL과 진화적 system prompt 최적화를 하나의 학습 루프에 통합하여 선언적/절차적 지식의 자연스러운 분업을 유도한다는 아이디어가 참신하고, easy-to-hard generalization 등 여러 벤치마크에서 일관된 성능 향상을 실증적으로 보여준 견고한 연구이다.