TEMPO: Scaling Test-time Training for Large Reasoning Models

Motivation

• Known: Large reasoning models은 학습 후 파라미터가 고정되어 새로운 문제에 적응하지 못하며, TTRL, EMPO, Intuitor 등 기존 test-time training(TTT) 방법들은 entropy, majority voting, self-consistency 같은 self-generated reward를 사용해 unlabeled test data에서 policy를 RL로 개선한다.
• Gap: 이러한 단일 에이전트 self-rewarding 방법들은 외부 grounding 없이 policy가 진화함에 따라 reward signal이 표류(drift)하여 성능 정체(saturation)와 출력 다양성 붕괴(diversity collapse)가 발생하는데, 이는 EM 관점에서 verification(E-step)이 결여된 불완전한 EM 변형이기 때문이라는 점이 규명되지 않았다.
• Why: Test-time에 지속적으로 자기 진화(self-evolve)할 수 있는 reasoning agent를 구축하는 것은 오프라인 학습 경계를 넘어서는 자율적 과학 추론 에이전트로 나아가기 위한 핵심 과제이며, saturation과 diversity collapse를 해소하면 labeled 데이터 없이도 확장 가능한 성능 향상을 얻을 수 있다.
• Approach: reasoning agent(actor)가 unlabeled 질문에 대해 policy를 정제하는 M-step과, verification agent(critic)가 labeled 데이터셋으로 주기적으로 재보정되는 E-step을 교대로 수행하는 dual-agent 프레임워크를 EM 알고리즘으로 형식화한다.

Achievement

Figure 4. TEMPO keeps improving. On Qwen3-14B, perfor-

1. 성능 정체 해소 및 대폭적인 성능 향상: OLMO3-7B의 AIME 2024 정확도를 33.0%에서 51.1%로, Qwen3-14B는 42.3%에서 65.8%로 끌어올렸으며, AIME 2025에서도 각각 26.3%→37.0%, 37.1%→44.6%의 개선을 보였다.
2. 다양성 유지: 기존 single-agent baseline(TTRL 등)이 pass@K에서 diversity collapse를 겪는 반면, TEMPO는 350 step 이상의 장기간 self-evolution에서도 높은 pass@K를 유지하며 지속적인 상승 곡선을 보였다.
3. 이론적 통합: EM 알고리즘을 통해 기존 self-rewarding TTT 방법들이 E-step(verification)을 생략한 불완전한 EM 변형임을 규명하고, E-step 복원이 ELBO를 tighten하여 지속적 self-evolution을 가능케 함을 이론적으로 증명했다.
4. 일반화 및 확장성: Qwen3와 OLMO3 등 다양한 모델 계열(7B, 8B, 14B)과 수학뿐 아니라 논리 퍼즐, STEM 등 비수학 추론 영역에서도 일관된 성능 향상을 확인했다.

How

Figure 2. TEMPO alternates between (i) Verification Agent Re-

• 문제 설정을 test-time에 정답 정확성(correctness)을 latent variable로 두고 policy 목적함수를 ELBO tightening 문제로 형식화한다.
• E-step (Verification Agent Recalibration): critic을 labeled 데이터셋 DL에서 verifiable reward로 주기적으로 재보정하여 grounded reward signal을 유지한다.
• M-step (Reasoning Agent Refinement): actor가 unlabeled 질문 Du에 대해 reasoning trajectory를 생성하고, 재보정된 verification agent의 신호에 대해 RL로 최적화된다.
• 두 단계를 반복적으로 교대(interleave)하며 actor와 critic 모두 RLVR로 초기화 후 지속적으로 self-evolution을 수행한다.
• Qwen3, OLMO3 계열 모델과 AIME 2024/2025, 논리 퍼즐, STEM 벤치마크에서 실험적으로 검증한다.

Originality

• 기존 TTT의 self-rewarding 방식을 단일 에이전트 M-step만 수행하는 불완전한 EM 알고리즘으로 재해석하는 통합적 이론 틀을 최초로 제시.
• Reasoning agent(actor)와 verification agent(critic)를 분리하여 reward 생성과 policy 최적화를 decouple하는 dual-agent self-evolution 구조를 test-time training에 적용.
• 소량의 labeled 데이터를 활용한 주기적 critic 재보정을 통해 self-reinforcing loop을 깨뜨리고 ELBO를 tighten하는 메커니즘을 제안.

Limitation & Further Study

• labeled 데이터셋 DL이 여전히 필요하므로 완전한 unsupervised test-time adaptation은 아니며, labeled 데이터의 양과 품질이 성능에 미치는 영향에 대한 심층 분석이 제한적일 수 있다.
• E-step(critic 재보정) 주기, 빈도 등 하이퍼파라미터에 대한 민감도 분석과 계산 비용(critic 재학습에 따른 오버헤드) 논의가 추가로 필요하다.
• 실험이 특정 모델 계열(Qwen3, OLMO3)과 특정 스케일(7B~14B)에 한정되어 있어 더 큰 모델이나 다른 아키텍처로의 일반화 가능성에 대한 검증이 후속 연구로 필요하다.
• 장기간(350 step 이상) self-evolution 이후의 안정성 및 잠재적 catastrophic forgetting 여부에 대한 추가 검증이 요구된다.

Evaluation

총평: 단일 에이전트 self-rewarding TTT의 근본 원인을 EM 이론으로 명쾌하게 규명하고, 이를 해결하는 dual-agent 구조를 통해 실질적이고 큰 성능 향상과 다양성 보존을 동시에 달성한 설득력 있는 연구이다. 다만 labeled 데이터 의존성과 하이퍼파라미터 민감도에 대한 추가 분석이 향후 완전성을 높일 수 있을 것이다.