Awakening the Sleeping Agent: Lean-Specific Agentic Data Reactivates General Tool Use in Goedel Prover

Motivation

• Known: Catastrophic forgetting은 continual learning 및 LLM post-training에서 잘 알려진 현상으로, 특정 도메인에 대한 heavy fine-tuning이 base model이 가지고 있던 다른 능력을 저하시킬 수 있다는 것이 여러 연구(Kotha et al., 2024; Luo et al., 2025 등)에서 보고되었다. 최근 연구는 일부 forgetting이 실제 능력 소실이 아니라 task alignment의 붕괴로 인한 spurious forgetting일 수 있음을 시사한다(Zheng et al., 2025).
• Gap: 기존 연구는 주로 forgetting을 예방(replay, regularization, pretraining-data injection 등)하는 관점에서 접근했으며, 이미 붕괴가 일어난 이후에 post hoc으로 능력을 회복시킬 수 있는지, 그리고 그 회복이 좁은 도메인 supervision만으로 다른 도메인까지 일반화될 수 있는지는 충분히 탐구되지 않았다.
• Why: agentic trace 데이터는 tool orchestration, execution, response parsing, filtering이 필요해 제작 비용이 매우 크기 때문에, 극소량의 domain-specific 데이터로 general capability를 되살릴 수 있다면 specialized model의 실용성과 효율성을 크게 높일 수 있다는 점에서 중요하다.
• Approach: GOEDEL-PROVER-V2에 model merging(SLERP)과 소량의 Lean-specific agentic fine-tuning을 각각 적용해 tool-use 회복 가능성을 비교하고, cross-model trace distillation pipeline으로 고품질 Lean tool-use 데이터를 생성해 학습시킨다.

Achievement

1. Agentic collapse 규명: GOEDEL-PROVER-V2가 formal-math 특화 학습 후 BFCL function-calling accuracy가 89.4%에서 거의 0%로 급락함을 정량적으로 확인했다.
2. Model merging의 한계 입증: SLERP를 이용한 GOEDEL-PROVER-V2와 QWEN3-32B 간 보간 실험에서 tool-use 회복과 in-domain Lean 성능 향상이 동시에 이루어지지 않는 뚜렷한 tradeoff를 MiniF2F와 ProofNet에서 확인했다(Figure 1).
3. 소량 데이터로 능력 회복: 단 100개의 Lean-specific agentic trace로 fine-tuning한 결과, BFCL 정확도가 4.6%에서 83.8%로 급격히 회복되어 base model(89.4%)에 근접했다.
4. Cross-domain 일반화 입증: 학습 데이터가 general-purpose API나 JSON 형식의 function call을 전혀 포함하지 않았음에도, 회복된 tool-use 능력이 BFCL 같은 완전히 다른 프로토콜/분포의 벤치마크로 전이됨을 보였다.
5. In-domain 실용성 확인: ProofNet에서 pass@32가 21.51%에서 25.81%로 향상되어, 회복된 tool-use 능력이 실제 정리 증명 성능 개선에도 기여함을 입증했다.

How

• GOEDEL-PROVER-V2-32B-SFT와 QWEN3-32B 사이를 SLERP interpolation으로 병합하며 merge weight를 0%~100% 사이 10% 단위로 스윕, MiniF2F(244문제)와 ProofNet(186문제)에서 pass@8 및 problem-level tool-call compliance를 측정.
• Cross-model trace distillation pipeline을 구축: QWEN3-32B가 전체 agentic trajectory(자연어 쿼리로 Mathlib 라이브러리 검색 등)를 생성하고, 이를 도메인 특화 생성 품질과 결합해 고품질 Lean-specific tool-use trace 100개를 구성(Figure 2).
• 이 100개의 trace로 GOEDEL-PROVER-V2를 fine-tuning한 뒤, BFCL(non-live)과 ProofNet(pass@32) 상에서 성능을 재평가하여 회복 정도와 cross-domain transfer를 정량화.
• 회복된 행동에 대한 정성적/정량적 분석을 수행해 retrieval grounding이 어떻게 모델이 스스로 생성할 수 없는 tactic과 theorem 사용을 가능하게 하는지 검토.

Originality

• Forgetting을 예방(prevention)이 아닌 post hoc 회복(recovery) 관점에서 다룬 새로운 문제 설정을 제시함.
• 단순히 도메인 내 회복이 아니라, 협소한 domain-specific supervision(Lean tool-use)만으로 전혀 다른 프로토콜의 general-purpose benchmark(BFCL)까지 능력이 전이되는 현상을 실증적으로 보임.
• 일반 모델의 tool-use 능력과 특화 모델의 도메인 생성 품질을 결합하는 cross-model trace distillation이라는 실용적 데이터 구축 파이프라인을 제안함.
• 극소량(100개)의 고품질 agentic trace만으로 대규모 collapse를 되돌릴 수 있다는 데이터 효율성 측면의 새로운 실증 결과를 제공함.

Limitation & Further Study

• 단일 모델(GOEDEL-PROVER-V2)과 단일 base model(QWEN3-32B) 조합에 대해서만 실험이 이루어져, 다른 아키텍처나 도메인(코드, 의료 등)에서도 동일한 현상이 재현되는지는 확인되지 않았다.
• 100개라는 trace 수의 최소 임계치나 스케일링 법칙(더 적은 수, 더 많은 수에 따른 성능 변화)에 대한 체계적 탐구가 부족하다.
• 회복 메커니즘에 대한 이론적 설명(왜 이런 cross-domain transfer가 가능한지)이 부족하며, spurious forgetting 가설과의 연결이 정성적 수준에 머물러 있다.
• ICML 워크숍 논문 특성상 실험 규모와 벤치마크 수가 제한적이며(BFCL, ProofNet, MiniF2F 위주), 더 다양한 downstream task에 대한 일반화 검증이 필요하다.
• 후속 연구로 다양한 특화 모델 및 도메인에 대한 재현성 검증과, 회복에 필요한 최소 데이터 규모 및 데이터 품질 요인에 대한 체계적 분석이 요구된다.

Evaluation

총평: 대규모 domain specialization으로 인한 agentic capability 붕괴가 영구적이지 않으며, 매우 적은 양의 domain-specific 데이터로 되살아나고 다른 도메인까지 전이될 수 있음을 명확하고 흥미로운 실증으로 보여준 워크숍 논문으로, 실용적 함의가 크지만 이론적 설명과 일반화 범위 검증은 추가 연구가 필요하다.