REFLEX: Reflective Evolution from LLM Experience

Motivation

• Known: 기존 연구들(MLES 등)은 multimodal LLM을 활용해 시각적 Behavioral Evidence로부터 실패 패턴을 진단하고 programmatic policy를 진화시킬 수 있음을 보였으며, FunSearch, EoH 같은 text 기반 LLM 진화 탐색과 Voyager 같은 skill library 기반 에이전트도 존재한다.
• Gap: 기존 프레임워크는 하나의 monolithic LLM 호출이 시각적 해석과 코드 수정을 동시에 수행하여 diagnosis-repair entanglement가 발생하고, 이로 인해 mutation 실패 원인을 감사(audit)할 수 없으며 독립적인 실행 간 알고리즘적 통찰이 축적되지 않는다.
• Why: 이 문제를 해결하면 evolutionary code search 과정이 투명하고 감사 가능해지며, 서로 다른 실행(run) 간에 재사용 가능한 프로그램적 지식이 전이되어 sample efficiency가 크게 향상될 수 있다.
• Approach: vision-enabled Critic이 task-specific Behavioral Evidence를 구조화된 JSON 진단으로 변환하고, text/code Actor가 이 진단과 Skill Memory에서 검색된 코드 스니펫을 활용해 child policy를 생성하는 Critic-Actor 구조로 diagnosis와 repair를 분리한다.

Achievement

Figure 4. Best-so-far score versus LLM calls or evaluations across

1. 극적인 sample efficiency 향상: Lunar Lander에서 20회 호출로 NWS 1.013(최고 1.092), Acrobot·Pendulum은 10회 미만 호출로 solve.
2. 복잡한 엔지니어링 문제로의 일반화: 36차원 compact Concentric Circular Antenna Array synthesis 과제에서 오프라인 수치 최적값(compact-regime score 25.33)에 도달.
3. 감사 가능한 mutation trace 제공: 구조화된 JSON 진단을 통해 mutation 선택 근거를 투명하게 기록.
4. cross-run 지식 전이 메커니즘 구축: 자기진화형 Skill Memory와 UCB1 bandit을 통해 독립적 실행 간 재사용 가능한 코드 스니펫(예: energy-pumping heuristics, altitude-gated braking)을 축적·전이.

How

Figure 1. Overview of the REFLEX framework. The evolutionary loop is driven by a Multi-turn Diagnostic Chain (MDC) that

• Multi-turn Diagnostic Chain(MDC)을 통해 vision-enabled Critic이 parent policy의 fitness와 BE 이미지를 조건으로 Pcritic(Dp | Vp, fp, T) 분포에서 구조화된 JSON diagnosis(failure_modes, root_cause, suggested_fix_type, confidence)를 생성.
• text-optimized Actor가 parent code, Critic의 diagnosis, Skill Memory에서 BM25로 검색한 코드 스니펫을 결합해 child program을 합성.
• Skill Memory는 elite individual에서 추출된 재사용 가능한 코드 스니펫을 promote/demote/merge/evict 정책과 utility score로 관리.
• 진화 루프는 elitist selection과 UCB1 bandit 기반 operator selection으로 exploration-exploitation trade-off를 조절.
• Lunar Lander, Acrobot, Pendulum 등 classic control benchmark와 36차원 compact CCAA synthesis 과제에서 평가.

Originality

• 기존 MLES와 같은 monolithic LLM 호출 방식과 달리, 시각적 diagnosis와 code repair 역할을 구조적으로 분리한 Critic-Actor 아키텍처를 최초로 제안.
• 진화적 population 탐색 루프에 skill extraction을 통합하고 UCB1 bandit으로 관리하는 self-evolving Skill Memory 메커니즘을 도입해, 기존 single-agent skill library(Voyager 등)와 달리 population-based cross-run 지식 전이를 지원.
• classic control 벤치마크뿐 아니라 안테나 배열 설계라는 실제 엔지니어링 최적화 문제에까지 visual-reflective loop를 확장 적용.

Limitation & Further Study

• 논문 발췌본에서는 Critic과 Actor로 사용되는 구체적 LLM 모델, 그리고 baseline(MLES 등) 대비 정량적 비교의 통계적 유의성이 명확히 제시되지 않아 재현성과 일반화 가능성 검증이 제한적이다.
• Skill Memory의 BM25 검색과 UCB1 bandit 관리 방식이 스니펫 수가 매우 커지거나 task 도메인이 이질적일 때 확장성 문제를 일으킬 수 있어 추가 검증이 필요하다.
• 평가된 과제가 비교적 저차원 classic control과 단일 엔지니어링 문제에 국한되어, 고차원·고복잡도 실제 로봇 제어나 다중 목적 최적화로의 일반화 여부는 후속 연구가 필요하다.
• 시각적 Behavioral Evidence 렌더링 방식과 Critic의 confidence 점수 신뢰도에 대한 심층 분석(예: 오진단 비율)이 부족하여, 향후 diagnosis 품질에 대한 정량적 평가가 요구된다.

Evaluation

총평: 시각적 진단과 코드 생성을 명확히 분리하는 아키텍처적 통찰과 self-evolving Skill Memory를 통한 cross-run 지식 전이는 실용적이고 참신하며, sample efficiency 측면에서 강력한 실험 결과를 보여주는 우수한 연구이다.