Deadline-Valid Replay: Anytime-Valid Testing for LLM Inference Policies

Motivation

• Known: LLM 평가는 보통 고정된 decoding 설정에서 모델/시스템 품질을 fixed-horizon 방식으로 보고해왔으며, sequential analysis, e-value, safe testing 등 anytime-valid 통계 도구는 optional stopping 하에서도 유효한 추론을 제공하는 것으로 알려져 있다.
• Gap: 기존 leaderboard 비교는 deadline 하에서의 descriptive utility gap과 통계적으로 인증된 policy 우위를 구분하지 못하며, LLM inference policy 비교에 paired sequential testing과 anytime-valid 증거를 적용한 사례가 없었다.
• Why: test-time compute를 활용한 다양한 inference policy(샘플링, branching, abstention 등)가 실제 배포 시스템에서 점점 중요해지고 있으나, latency deadline 하에서 어떤 policy가 실제로 더 나은지에 대한 엄밀하고 반복 관찰에도 안전한(calibrated) 검증 방법이 부재했다는 점에서 실무적으로 중요하다.
• Approach: deadline 이전 정답 여부로 utility를 정의하고 policy 쌍의 paired difference에 대해 anytime-valid mixture betting e-process(equal-weight finite mixture over λ)를 적용하여, frozen real-model trace를 replay하며 순차적으로 통계적 증거를 축적하는 방식을 사용한다.

Achievement

Figure 1.

1. Deadline-conditioned paired testing 정식화: Deadline utility U_{i,τ}와 policy 쌍 간 paired difference D_{i,τ}를 정의하고, 이를 anytime-valid e-process로 검증하는 통계적 프레임워크를 제시했다.
2. Qwen2.5 기반 4-slice trace-bank 실증 연구: GSM8K, BBH, ARC, CoLA 네 가지 태스크에서 descriptive leader가 태스크와 deadline에 따라 달라짐을 보였다.
3. 통계적 미인증(non-certification) 결과 도출: 관찰된 최대 e-value가 3.675로 unadjusted threshold 20 및 Bonferroni-family threshold 1440에 크게 못 미쳐, 어떤 비교도 통계적으로 인증된 우위를 주장할 수 없음을 보임으로써 descriptive ranking과 certified claim을 명확히 분리했다.
4. 재현 가능한 오픈 리포지토리 공개: frozen replay config, trace-bank manifest, validation metadata를 포함한 공개 저장소를 제공하여 향후 pre-registered 분석의 기반을 마련했다.

How

Figure 1.

• Prompt i, deadline τ에 대해 Deadline utility U_{i,τ} = ⊮{정답이며 τ 이전에 완료}로 정의
• Policy A, B 쌍에 대해 paired difference D_{i,τ} = U^A_{i,τ} - U^B_{i,τ}를 계산하고 H0: E[D_{i,τ}] ≤ 0 대 H1: E[D_{i,τ}] > 0을 검정
• betting fraction λ ∈ {0.10,...,0.90}에 대한 개별 e-process E_t(λ) = Π(1+λD_s)의 equal-weight mixture E_t를 구성하여 anytime-valid e-process 확보 (Ville's inequality 기반 Proposition 3.1로 타당성 증명)
• α=0.05, threshold 1/α=20 기준으로 판정, 향후 72개 비교에 대한 Bonferroni-over-e-values로 threshold 1440 계산
• greedy, self-consistency(SC 3), budget branch, selective abstain 등 4가지 policy를 frozen Qwen2.5-3B-Instruct trace(원본 output, latency, confidence, token count 등 포함)로부터 replay하여 live API 호출 없이 재현 가능한 비교 수행
• GSM8K, BBH, ARC, CoLA 4개 slice, 3개 deadline에서 실험 진행

Originality

• LLM inference policy 비교를 deadline 제약 하 paired sequential testing 문제로 처음 정식화한 접근
• 기존 e-process/safe testing 이론을 새로 개발하지 않고, LLM 평가라는 구체적이고 점점 흔해지는 문제에 실용적으로 "operational"하게 적용한 응용 중심의 기여
• descriptive leaderboard ranking과 statistically certified directional claim을 명시적으로 분리하는 방법론적 프레임 제시
• frozen trace replay 설계를 통해 재현성과 deadline-conditioned 행동을 동시에 보존하는 실험 설계

Limitation & Further Study

• 사용된 betting mixture grid(λ∈{0.1,...,0.9})는 medium-to-large effect에 최적화되어 있어, 본 연구에서 관찰된 매우 작은 효과(최대 paired mean difference 0.025)에는 검정력이 부족할 수 있음
• 단일 모델 계열(Qwen2.5-3B-Instruct)과 4개 태스크에 국한된 case study로 일반화 가능성이 제한적
• 방향성(direction) 라벨이 사후에 관찰된 부호에 따라 결정되어, 진정한 pre-specified one-sided test가 아니며 저자도 이를 명확히 인정함
• discordant prompt 수가 매우 적어(최대 3개) 통계적 검정력 자체가 근본적으로 제한적임
• 후속 연구로 denser low-λ grid, beta-mixture betting, 완전한 pre-registration(방향, family size, stopping rule, multiplicity 사전 확정)을 통한 rejecting analysis가 제안됨

Evaluation

총평: LLM inference policy 평가에 anytime-valid sequential testing을 도입한 개념적으로 참신하고 방법론적으로 견고한 워크숍 논문이나, 실증 결과가 "인증 실패(non-certification)"에 그쳐 실질적 임팩트는 제한적이며 더 넓은 모델·태스크 범위와 pre-registered 후속 연구가 필요하다.