ISM: Self-Improving Strategy Memory for Continual Mathematical Reasoning

Motivation

• Known: Reflection 기반 방법(Reflexion), retrieval-augmented 방법, skill-library 시스템(Voyager) 등이 frozen LLM의 외부 메모리를 활용해 continual learning 성능을 개선하려는 시도가 존재했으며, in-model memory를 재설계하는 Titans, Nested Learning 같은 접근도 있었다.
• Gap: 기존 방법들은 각각 한계가 있다: Reflexion은 free text 피드백만 남겨 재사용 가능한 구조화된 전략이 되지 못하고, retrieval 기반 방법은 원시 예제를 무한정 저장해 저장소가 선형적으로 커지며, Voyager 같은 skill-library는 검증·중복 통합·폐기 메커니즘 없이 계속 확장만 한다. 즉, 현재 시스템들은 통제된 방식으로 self-improve하지 못하고 잊거나, 저장소가 비대해지거나, 노이즈가 누적된다.
• Why: 모델 파라미터를 갱신하지 않고도 외부 지식 저장소만으로 시간에 따라 개선되는 시스템을 만드는 것은 frozen backbone 하에서 continual learning의 핵심 난제를 해결하는 것이며, 검증 가능하고 유계된(bounded) 신뢰성 있는 메모리 설계는 실제 응용에 중요한 함의를 가진다.
• Approach: ISM은 schema를 content(전략 설명, 해법 템플릿, 휴리스틱)와 feature hook(구조적·임베딩 기반 검색 신호)으로 분리하고, 7가지 self-improvement 메커니즘(audit, merge, prune, promote/demote, reinforce, antipattern, rehabilitate)을 symbolic verification으로 게이팅하여 메모리 뱅크를 능동적으로 유지·관리한다.

Achievement

Figure 3. ISM head-to-head against each baseline on OlympiadBench. Left: wins (ISM correct, baseline wrong) versus losse

1. 성능 우위: MATH-Hard와 OlympiadBench에서 vanilla, retrieval, reflection, static schema, passive schema memory 등 5개 baseline 대비 가장 높은 정확도를 달성했다.
2. 저장 효율성: 가장 강력한 passive baseline 대비 각각 64%, 86% 더 적은 schema를 사용했고, retrieval 기반 시스템 대비 최대 23배 적은 저장소를 사용했다.
3. 도메인 shift에 대한 강건성: 스트림이 진행될수록 성능 격차가 커지며, ISM은 어떤 baseline보다도 도메인 shift에 대한 회복력이 뛰어났다.
4. 유계된 메모리 성장: retrieval 기반 저장소가 문제 수에 비례해 선형적으로 증가하는 반면, ISM의 메모리 뱅크는 엄격하게 bounded 상태를 유지했다.

How

Figure 2. Memory Controller and conditional schema evolution. After each episode, the outcome is passed to the Memory Co

• Continual learning을 300-episode streaming episode protocol로 설정: 문제 스트림을 B개의 블록으로 나누고 각 블록은 단일 수학 도메인(Algebra, Geometry, Number Theory 등)에서 추출, 블록마다 도메인이 전환됨.
• Hard episodic reset을 적용해 solver는 외부 메모리 M_t 외에는 이전 episode의 context를 전혀 받지 못하도록 함 (수식: ŷ_t = f_θ(x_t, M_t)).
• 5개 컴포넌트로 구성: (i) feature extractor(rule-based + LLM-based, agreement scoring), (ii) content/feature hook으로 분리된 schema bank, (iii) operator filter와 soft scoring을 사용하는 two-stage retrieval, (iv) 검증 가능한 도구를 호출할 수 있는 frozen LLM solver, (v) episode 이후 self-improvement loop를 실행하는 memory controller.
• Memory controller는 audit, merge, prune, promote/demote(품질·용량 관리), reinforce·antipattern(성공/실패로부터 대칭적 학습), rehabilitate(underperforming schema 회복)라는 7가지 메커니즘을 운영하며 모든 업데이트는 symbolic verification을 통과해야 반영됨.
• MATH-Hard, OlympiadBench 두 competition-level 벤치마크에서 vanilla, retrieval, reflection, static schema, passive schema memory 5개 baseline과 비교 평가.

Originality

• Content와 retrieval feature를 분리하는 dual-representation schema 설계로, 검색 정확도가 경험에 따라 online으로 sharpen되면서도 전략 자체는 안정적으로 유지되도록 함.
• 성공과 실패를 대칭적으로 학습하는 메커니즘(Self-Reinforce, Self-Antipattern)을 동시에 구조화된 재사용 가능 지식으로 축적한 최초의 시도로, 기존 연구(STaR, Voyager는 긍정 신호만; Reflexion은 부정 신호만)와 차별화.
• 모든 메모리 업데이트를 symbolic verification으로 게이팅하는 lifecycle 관리 메커니즘(audit, merge, prune, promote/demote, rehabilitate)을 도입해 메모리를 능동적이고 유계되게 유지.

Limitation & Further Study

• Workshop paper 형태의 발췌본으로, 세부 실험 설정(schema 생성 프롬프트, verification tool의 구체적 구현, hyperparameter 등)에 대한 설명이 충분히 제공되지 않음.
• 평가가 수학 추론 도메인(MATH-Hard, OlympiadBench)에 국한되어 있어, 다른 continual learning task(코딩, 대화 등)로의 일반화 가능성은 검증되지 않음.
• 7가지 self-improvement 메커니즘 간 상호작용이 복잡한데, 각 메커니즘의 개별 기여도에 대한 ablation 분석이 본문 발췌 부분에서는 명확히 드러나지 않음.
• Frozen LLM 자체의 능력에 의존하므로, 매우 약한 backbone 모델에서의 성능 한계나 schema 품질에 대한 민감도 분석이 필요할 것으로 보임.

Evaluation

총평: ISM은 frozen LLM 기반 continual mathematical reasoning에서 성공/실패의 대칭적 학습, 검증 게이팅, lifecycle 관리를 결합한 실용적이고 효율적인 메모리 설계를 제시하며, 정확도와 저장 효율 모두에서 강력한 baseline 대비 우위를 보여준다는 점에서 의미 있는 기여로 평가된다.