Procedural Generation Of Algorithm Discovery Tasks in Machine Learning

Motivation

• Known: 기존에는 MLE-Bench, MLGym-Bench, MLAgentBench 등 수작업으로 설계된 고정된 algorithm discovery benchmark들이 존재하며, meta-learning과 AutoML 연구에서 optimiser나 loss function 같은 알고리즘 구성요소를 신경망으로 대체하는 시도, 그리고 LLM 기반 알고리즘 제안 연구(예: FunSearch류)가 진행되어 왔다.
• Gap: 기존 ADA benchmark들은 discovery(meta-train)와 evaluation(meta-test)을 분리하지 않아 원칙적인 평가가 어렵고, 전체 코드베이스 작성을 요구해 연구 능력보다 소프트웨어 엔지니어링 능력을 측정하며, pre-training 시 data contamination 위험이 있고, task 수가 적어 수동 생성에 의존하므로 새로운 ADA 접근법이나 아키텍처를 학습시키면 overfitting 위험이 크다는 문제가 있다.
• Why: ADA는 인간의 아이디어 창출·구현·실험이라는 병목을 완화할 잠재력이 있으며 계산 자원 확장에 따라 그 유용성이 직접적으로 커지기 때문에, 이를 원칙적으로 개선하고 평가할 수 있는 대규모·다양한 task 생성 체계는 알고리즘 발견 연구 전반의 발전에 핵심적이다.
• Approach: DiscoGen이라는 절차적 task generator를 제안하여 optimiser, loss function, network 구조 등 다양한 ML 서브필드에 걸쳐 meta-train/meta-test가 분리된 task를 소수의 configuration parameter로 생성하고, 이를 통해 ADA 최적화 루프(meta-meta-loop)를 구성한다.

Achievement

Figure 2. Success rate vs. editable module count in On-Policy RL.

1. DiscoGen 제안: reinforcement learning을 위한 optimiser, image classification을 위한 loss function 등 다양한 ML 분야에서 약 100B(수십억) 개의 난이도·복잡도가 상이한 algorithm discovery task를 생성할 수 있는 procedural generator를 구축함.
2. DiscoBench 제시: DiscoGen의 support 내에서 선정된 고정된 소규모 task subset을 만들어 ADA에 대한 원칙적이고 재현 가능한 평가 체계를 제공함.
3. 모듈형 구조 설계: preprocessing, optimiser, loss, network 등 알고리즘의 어떤 구성요소를 ADA가 발견할지 선택 가능한 모듈 구조를 도입해 task의 다양성을 축(axis) 단위로 조절 가능하게 함.
4. 연구 방향 제안 및 실증 실험: autocurricula, recursive self-improvement, open-ended learning 등 DiscoGen이 가능케 하는 연구 방향을 제시하고, automated prompt tuning을 위한 scaling 실험을 통해 더 다양한 수의 무작위 생성 task로 프롬프트를 개발할수록 in-support 및 완전히 held-out된 도메인에서도 성능이 향상됨을 보임.

How

Figure 2. Success rate vs. editable module count in On-Policy RL.

• DiscoGen 프레임워크에서 도메인(예: image classification, language modelling, continual learning)을 샘플링하고, meta-train/meta-test로 나뉘는 dataset을 선택함
• Preprocessing, optimiser, loss, network 등 편집 가능한(editable) module을 선택하여 ADA가 발견해야 할 알고리즘 구성요소를 결정함
• Inner-loop(단일 모델이 단일 dataset train set에서 학습·평가), meta-loop(ADA가 meta-train feedback으로 알고리즘을 반복 개선한 뒤 meta-test로 평가), ADA optimisation-loop(meta-meta-loop로 ADA 자체를 최적화), ADA evaluation(최적화에 사용되지 않은 task, 즉 meta-meta-test에서 평가)의 4단계 계층 구조로 용어를 정립함
• 예시로 On-Policy RL 도메인에서 editable module 개수를 변화시키며 ADA의 success rate 변화를 측정하는 실험을 수행함
• Automated prompt tuning 실험에서 서로 다른 개수의 무작위 생성 task에 대해 프롬프트를 최적화하고, in-support 및 held-out 도메인에서의 일반화 성능을 비교함

Originality

• 기존 algorithm discovery benchmark들이 수작업으로 고정된 소수의 task만 제공하는 것과 달리, procedural generation을 통해 수십억 개 규모의 task 공간을 여는 최초의 접근으로 보임
• 강화학습에서의 procedural environment generation(예: Cobbe et al. Procgen, Bauer et al., Matthews et al.)의 성공을 algorithm discovery 문제로 확장 적용한 발상의 전이
• meta-train/meta-test 분리, 모듈형 구성요소 선택, tunable difficulty 등 여러 바람직한 property를 동시에 만족하는 벤치마크 설계 프레임워크를 제시함 (Table 1에서 기존 벤치마크 대비 비교 제시)

Limitation & Further Study

• DiscoBench 역시 다른 고정 task set과 마찬가지로 data contamination에 취약하다는 한계를 저자들도 인정하며, 논문 발표 이전에 평가를 수행했다는 점으로 완화하려 하나 근본적 해결책은 아님
• 발췌된 내용상 실제 실험 결과(성능 수치, scaling curve 등)에 대한 구체적 분석이 제한적으로 제시되어, 제안된 방법의 실효성에 대한 충분한 정량적 근거가 본문 발췌만으로는 확인되지 않음
• 후속 연구로 autocurricula, recursive self-improvement, open-ended learning 등 다양한 방향이 제안되었으나 이들이 실제로 어떻게 구현·검증될지는 향후 과제로 남아 있음
• Task 생성이 여전히 사전 정의된 도메인과 모듈 구조에 의존하므로, 완전히 새로운 유형의 알고리즘 발견 문제로의 일반화 가능성은 추가 검증이 필요함

Evaluation

총평: algorithm discovery 연구가 소수의 포화된 수작업 벤치마크에 발목 잡혀 있는 근본 문제를 procedural generation이라는 검증된 아이디어로 해결하려는 시의적절하고 인프라적으로 중요한 기여이며, 향후 ADA 연구의 표준 도구가 될 잠재력이 크다.