Reasoning as a Dynamical System: Online Monitoring of LLMs with Particle Filters

Motivation

• Known: 기존 연구는 PRM(Process Reward Model)을 오프라인 selection(best-of-N reranking)이나 RL 보상 신호로 활용하며, 각 reasoning step의 uncertainty(semantic entropy, token-level uncertainty 등)를 독립적으로 평가해왔다. Coconut, deliberation, looped transformer 등 latent reasoning 연구는 표현 학습(representation engineering) 관점에서 latent state를 다루었다.
• Gap: 기존 접근들은 reasoning step을 서로 독립적으로 취급하여 confidence가 trajectory 전반에 걸쳐 어떻게 진화하는지를 동적으로 추정하지 못하며, 제공되는 confidence 추정치가 calibration이 되어 있지 않아 다운스트림에서 직접 활용하기 어렵다는 한계가 있다.
• Why: 추론 과정을 동적 시스템(dynamical system)으로 프레이밍하면 test-time에 label 없이도 온라인으로 정답 여부를 추정하고 조기 종료(early stopping)를 통한 추론 효율화가 가능해지며, 특히 calibration된 confidence는 안전성과 실질적 배포 측면에서 중요하다.
• Approach: reasoning state를 progress, coherence, uncertainty, fatigue, momentum의 5차원 연속 latent vector와 3개의 discrete mode(Normal/Insight/Backtrack)로 구성된 SLDS로 정의하고, PRM 점수 또는 logit 기반 특징을 관측치로 사용하는 RBPF로 연속 상태를 analytic하게 marginalise하며 온라인 추적한다.

Achievement

Figure 4. Prediction accuracy versus compute saved under early

1. 높은 discrimination 성능: GSM8K에서 RBPF는 PRM 관측 기반 AUC 0.850을 달성하여 강력한 online/offline baseline과 견줄 만한 수준을 보였다.
2. 최고 수준의 calibration: RBPF는 모든 방법 중 가장 낮은 ECE(0.111)를 기록하여 MeanPRM(0.305), EMA(0.311) 대비 약 3배 낮은 calibration error를 달성했다.
3. 정확도 손실 없는 조기 종료: early stopping 실험에서 RBPF는 평균적으로 12%의 step을 절약하면서도 verdict accuracy 저하 없이 정답 여부를 조기에 판단할 수 있었다.
4. cross-dataset 일반화: GSM8K에서 학습된 logistic readout을 재학습 없이 MATH에 적용해도 AUPR 0.607로 전체 방법 중 최고 성능을 보였고, ranking baseline 대비 훨씬 나은 calibration을 유지했다.

How

• reasoning state $x_k=[p,c,u,f,m]^\top \in \mathbb{R}^5$를 정의하고, 모드별로 다른 drift increment $\Delta_{z_k}$(NORMAL=0, INSIGHT, BACKTRACK)를 갖는 SLDS를 구성
• discrete mode $z_k$는 Markov chain(transition matrix $P$, self-transition prob 0.96/0.90/0.90)으로 진화
• 관측 모델로 logit 기반 3차원 특징(token entropy, step perplexity, answer consistency) 또는 PRM(Qwen2.5-Math-PRM-7B) 스칼라 점수를 사용하며, 후자는 progress 좌표에 대한 선형 emission $h(x)=[x]_1$로 모델링
• outlier에 강건하도록 heavy-tailed mixture observation likelihood(ϵ, $\sigma^2_{out}$)를 적용
• RBPF는 mode 샘플링, EKF 기반 예측, weight update, ESS<N/2일 때 resampling의 4단계로 구성되어 연속 상태를 analytic하게 marginalise
• particle-weighted mean state $\bar\mu_k$에 대해 GSM8K selection split에서 $\ell_2$-regularised logistic regression으로 학습한 readout $\hat p_k=\sigma(a^\top \bar\mu_k+b)$를 고정하여 correctness 확률로 변환
• PF, EKF, LR-k5, LR-full, MeanPRM, EMA 등 baseline과 GSM8K(DeepSeek-R1-Distill-Qwen-1.5B 생성) 및 MATH에서 비교 평가

Originality

• reasoning trajectory의 latent structure를 표현 학습이 아닌 online dynamical estimation 문제로 재정의한 관점의 참신성
• PRM을 오프라인 selection/RL reward가 아닌 온라인 상태 추정을 위한 시계열 관측치로 재해석하여 활용
• Normal/Insight/Backtrack이라는 해석 가능한 세 가지 latent mode를 갖는 SLDS를 도입하고, 이를 Rao-Blackwellized Particle Filter로 label-free하게 추적하는 새로운 프레임워크 제안
• 신경활동 등 다른 도메인에서 쓰이던 SLDS 및 RBPF 기법을 LLM reasoning monitoring이라는 새로운 응용에 적용

Limitation & Further Study

• SLDS의 drift 계수(γ, δ, η)와 mode-specific increment, process noise Q 등이 고정된 하이퍼파라미터로 설정되어 있어, 다른 모델/데이터셋에 대한 일반화 가능성이 충분히 검증되지 않음
• 평가가 GSM8K와 MATH 두 개의 수학 reasoning 벤치마크, 단일 LLM(DeepSeek-R1-Distill-Qwen-1.5B)에 국한되어 있어 다양한 태스크·모델 규모로의 확장성 검증이 필요
• logit feature 기반 관측에서는 PRM 대비 상당히 낮은 성능(AUC 0.674)을 보여, PRM 없이도 강건하게 동작하는지에 대한 추가 검증이 필요
• early stopping으로 얻는 계산량 절감 폭(평균 12%)이 상대적으로 크지 않아 실제 inference efficiency 이득의 실용적 크기에 대한 추가 논의 필요
• mode 수(3개)와 latent state 차원(5차원)의 선택이 임의적일 수 있어, 이에 대한 ablation이나 이론적 근거 보강이 향후 과제로 남음

Evaluation

총평: reasoning monitoring을 dynamical system 추정 문제로 재정의하고 RBPF를 통해 label 없이 calibration이 우수한 confidence 추정을 달성한 참신하고 실용적인 연구로, discrimination 성능은 최상위권은 아니지만 calibration과 조기 종료 능력에서 뚜렷한 실질적 이점을 보인다.