BenchEvolver: Frontier Task Synthesis Via Solution-Centric Evolution

Motivation

• Known: LiveCodeBench 등 최신 코딩 벤치마크는 frontier LLM들이 easy split에서 99% 이상, 평균 90% 이상의 Pass@1을 기록할 정도로 포화되어 모델 간 변별력과 학습 신호를 거의 제공하지 못한다. LLM을 활용한 synthetic data generation은 이러한 문제를 완화하기 위한 대안으로 연구되어 왔다.
• Gap: 기존 synthetic task generation 파이프라인은 대부분 강한 teacher 모델이 약한 student 모델을 위한 데이터를 생성·검증하는 비대칭 구조이며, instruction 수준의 다양화에 그쳐 solution 구조나 난이도를 명시적으로 통제하지 못한다. 특히 statement, reference solution, test가 함께 유효한 완전한 executable task를 self-challenging 방식(생성자 자신도 어려워하는 task)으로 만드는 파이프라인은 부재했다.
• Why: 모델 스스로가 자신의 약점을 드러내는 task를 생성하고 이를 학습에 재사용할 수 있다면, 인간 노력 없이도 벤치마크 포화 문제를 해결하고 self-improvement의 폐루프(closed loop)를 구축할 수 있어 지속적인 frontier LLM 발전에 중요한 인프라가 된다.
• Approach: 새로운 문제를 처음부터 생성하는 대신 reference solution 자체를 구조적으로 변형(mutate)하고, 이 evolved solution을 executable oracle로 삼아 problem statement와 test를 역으로 도출하는 solution-centric evolutionary 접근을 취한다.

Achievement

1. BenchEvolver 프레임워크 제안: solution 공간에서 생성하고, 독립적 consistency check로 검증하며, 실증적 모델 실패율로 선택하는 3원칙 기반의 closed-loop 진화 프레임워크를 제시했다.
2. 다중 도메인 검증: LiveCodeBench(경쟁 프로그래밍)와 SciCode(과학 코딩) 두 도메인, 여러 evolver/target 모델에 걸쳐 유효하고 다양한 evolved task를 생성하며 target model의 Pass@1을 대폭 낮췄고, 심지어 evolver 자신에게도 어려운 task를 만들어냈다.
3. RL을 통한 self-improvement 실증: gpt-oss-20b를 evolver이자 target으로 사용해 seed+evolved 혼합 데이터로 RL 학습 시 LCB v6 Hard에서 +8.7, LCB-Pro Easy에서 +8.3 Pass@1 향상을 달성했으며, 이는 seed-only 대비 각각 70.7%, 34.8% 더 큰 개선폭이다.

How

• Task 표현: 각 task를 I = (S, C, T, E) (statement, reference implementation, hidden test suite, execution harness)로 정의하고, harness만 도메인별로 다르게 유지(경쟁 프로그래밍은 stdin/stdout, 과학 코딩은 함수 레벨 assertion).
• Proposer(Mutator): 기존 reference solution C를 구조적으로 변형해 부모 알고리즘이 더 이상 충분하지 않도록 만드는 candidate mutation을 생성.
• Statement Writer / Test Generator: evolved solution으로부터 새로운 problem statement와 test case를 역으로 도출.
• Evaluator: (1) consistency 체크(solution이 모든 test 통과, test와 statement 정합성), (2) meaningfulness 체크(알고리즘적 업그레이드 필요 여부, 의미 있는 문제인지, 다양성), (3) difficulty 체크(target model panel에 대해 empirical Pass@1 측정)의 3단계 검증을 순차 적용.
• Memory 모듈: Local memory(seed별 채택 계보, 거부/수리 이력, 난이도 이력)와 Global memory(target model 실패 패턴, 최근 성공 사례, seed 간 다양성)를 유지해 이후 search를 가이드.
• RL 실험: gpt-oss-20b로 seed-only, evolved-only, seed+evolved 세 가지 데이터 mix로 RL 학습을 수행하고 held-out LCB v6 Hard, LCB-Pro Easy에서 Pass@1 비교.

Originality

• 기존의 problem-centric(즉 새로운 문제 statement를 먼저 생성) 방식과 달리, reference solution 자체를 변이시키는 solution-centric evolution을 제안해 executable semantics에 생성을 grounding함.
• 난이도를 LLM judge나 휴리스틱이 아니라 실제 target model panel의 empirical pass rate로 정의해 측정한 점.
• teacher-student 비대칭 구조를 벗어나, evolver 자신에게도 어려운 task를 생성함으로써 self-challenging 설정을 명시적으로 만족시키고 이를 RL 학습 신호로 재사용하는 closed-loop를 실증.
• memory-guided search(local/global memory)를 통한 반복적 evolution 개선 메커니즘.

Limitation & Further Study

• 실험이 LiveCodeBench와 SciCode라는 코드/프로그래밍 도메인에 국한되어 있어, 수학 추론, 일반 언어 이해 등 비코딩 도메인으로의 일반화 가능성은 미검증.
• RL 실험이 gpt-oss-20b라는 상대적으로 작은 단일 모델 계열에 대해서만 수행되어, 더 큰 frontier 모델이나 다양한 모델 계열에서도 동일한 self-improvement 효과가 재현되는지는 추가 검증이 필요.
• evolved task의 난이도가 target model panel 구성에 의존적일 수 있어, panel 선택에 따른 편향(bias) 가능성에 대한 분석이 부족.
• Iterative mutation과 repair budget, memory 업데이트 등 파이프라인이 복잡하여 계산 비용(compute cost) 및 확장성에 대한 정량적 분석이 제한적으로 제시됨.
• 장기적으로 evolved task가 실제 세계 문제의 분포를 얼마나 잘 반영하는지, 또는 인위적으로만 어려운 문제로 편향되는지에 대한 논의가 더 필요.

Evaluation

총평: 벤치마크 포화 문제에 대해 solution-centric evolution이라는 참신하고 실행 가능한 해법을 제시하고, 이를 self-improvement RL 학습 신호로까지 연결한 점에서 의미 있는 기여이나, 검증 범위가 코딩 도메인과 단일 모델 계열에 국한되어 일반화 가능성에 대한 추가 검증이 필요하다.