Asymptotically Log-Optimal Bayes-Assisted Confidence Sequences for Bounded Mean

Motivation

• Known: Test martingale와 e-process를 이용한 confidence sequence는 IID 유계 관측치의 평균에 대해 분포 가정 없이 anytime-valid한 불확실성 정량화를 제공하며, GRAPA와 같이 경험적 분포를 이용한 betting 전략이 대표적 방법으로 알려져 있다.
• Gap: 기존의 betting martingale 기반 confidence sequence 구성 방법들은 사전 정보(prior information)나 그럴듯한 데이터 생성 분포에 대한 지식을 효율적으로 활용하지 못하며, 완전한 parametric Bayesian sequential testing은 모델이 오설정(misspecified)될 경우 유효성이 깨지는 문제가 있다.
• Why: 사전 정보를 활용해 confidence sequence의 폭과 필요한 샘플 수를 줄이면서도, 모델이나 사전이 잘못되었더라도 anytime-valid coverage가 항상 보장되는 방법은 실험 설계, 순차적 최적 팔 식별(best-arm identification), prediction-powered inference 등 다양한 실용적 순차 추론 문제에서 효율성과 견고성을 동시에 달성할 수 있어 중요하다.
• Approach: 각 후보 평균과 시점마다 Bayesian predictive distribution을 이용해, 유효한 one-step martingale factor들 중 predictive expected log-growth를 최대화하는 betting 계수를 선택함으로써, 유효성은 martingale 이론에서 보장하고 효율성은 predictive의 질에 따라 결정되도록 분리한다.

Achievement

Figure 1. Synthetic beta-mixture experiment. The left and right panels show average CS length relative to the oracle and

1. Bayes-assisted 프레임워크 제안: Bayesian 또는 pseudo-Bayesian predictive가 bounded-mean confidence sequence의 betting 계수를 안내하는 일반적 프레임워크를 도입했다.
2. 비점근적 유효성 증명: prior나 working model이 오설정되어도 모든 predictable working predictive distribution에 대해 시간-균일(time-uniform) coverage가 성립함을 증명했다.
3. 점근적 log-optimality 증명: predictive distribution이 참 데이터 생성 분포를 Wasserstein 거리에서 학습(consistent)하면, oracle 절차와 동일한 극한 per-sample log-growth rate를 달성함을 보였다.
4. 구체적 predictive 구축: mixture Dirichlet-process, Bayesian exponentially tilted empirical likelihood (BETEL), regularized ETEL (RETEL) 기반의 점근적으로 log-optimal한 구성을 제안했다.
5. 실증적 효율성 입증: synthetic 데이터, LLM 평가를 위한 순차적 best-arm identification, prediction-powered inference 실험에서 informative prior가 confidence-sequence 폭과 샘플링 노력을 크게 줄이면서도 anytime-valid coverage를 유지함을 보였다.

How

Figure 1. Synthetic beta-mixture experiment. The left and right panels show average CS length relative to the oracle and

• 유계 관측치 X_i ∈ [0,1]에 대해 각 후보 평균 μ와 상수 c에 대해 구간 I_{μ,c} = (-c/(1-μ), c/μ)를 정의하고, predictable 계수 λ̂_i(X_{1:i-1}, μ) ∈ I_{μ,c}를 이용한 선형 betting factor 1+λ̂_i(X_i-μ)로 martingale W_n을 구성한다.
• Ville's inequality를 통해 W_n을 1/α에서 threshold하여 μ에 대한 anytime-valid sequential test 및 confidence sequence를 얻는다 (Proposition 3.1: predictable하고 I_{μ,c}에 속하면 항상 nonnegative, null 하에서 martingale 성질 보장).
• 각 시점·후보 평균마다 Bayesian working predictive distribution을 계산하여, 이 predictive 하에서 기대 log-growth를 최대화하는 λ를 valid한 범위 내에서 선택 (GRAPA의 empirical forecast를 Bayesian/pseudo-Bayesian predictive로 대체).
• predictive distribution이 Wasserstein distance에서 참 분포에 수렴(consistent)한다는 조건 하에, 점근적 log-optimality를 이론적으로 증명.
• parametric Bayesian predictive, mixture Dirichlet-process predictive(파라메트릭 사전과 경험적 분포 사이를 보간), Bayesian exponentially tilted empirical likelihood(BETEL) 및 regularized 변형(RETEL)을 구체적 predictive 모델로 인스턴스화.
• synthetic beta-mixture/Bernoulli 실험, LLM 평가를 위한 순차적 best-arm identification, prediction-powered inference 등 세 가지 응용에서 여러 baseline과 비교 실험 수행.

Originality

• GRAPA와 같은 순수 경험적 betting 전략을 Bayesian/pseudo-Bayesian working predictive로 일반화하여, prior 정보를 자연스럽게 통합하는 새로운 프레임워크를 제시했다.
• 완전한 parametric Bayesian sequential testing과 달리, Bayesian 모델을 오직 betting 계수 선택에만 사용함으로써 모델 오설정 하에서도 유효성이 유지되는 구조를 설계한 점이 독창적이다.
• Wasserstein-consistency라는 predictive 성질을 통해 점근적 log-optimality를 도출하는 이론적 연결고리를 새롭게 제시했다.
• Dirichlet-process mixture 및 Bayesian exponentially tilted empirical likelihood를 confidence sequence betting 계수 선택에 적용한 것은 기존 Bayesian nonparametric/empirical likelihood 문헌과 martingale 기반 confidence sequence 문헌을 연결하는 새로운 응용이다.

Limitation & Further Study

• 이론적 log-optimality 보장은 predictive distribution의 Wasserstein-consistency라는 점근적 조건에 의존하므로, 유한 표본에서의 효율성 이득에 대한 정량적 보장은 제한적일 수 있다.
• 제안된 predictive(mixture Dirichlet-process, BETEL/RETEL)의 계산 비용이 각 시점·후보 평균마다 predictive distribution을 재계산해야 하므로, 대규모 순차 문제에서 계산 효율성 문제가 발생할 수 있다.
• 실험이 synthetic 데이터, LLM 평가, prediction-powered inference라는 특정 응용에 국한되어 있어, 더 다양한 실세계 순차 의사결정 문제에 대한 일반화 가능성은 추가 검증이 필요하다.
• 향후 연구로는 predictive 선택의 최적성(예: 여러 후보 predictive 간 자동 선택 또는 앙상블), 다변량 또는 비유계(unbounded) 평균으로의 확장, 계산 효율을 높이는 근사 기법 개발 등이 필요할 것으로 보인다.

Evaluation

총평: Bayesian predictive 정보를 betting 기반 confidence sequence에 유효성을 훼손하지 않고 통합하는 이론적으로 견고하고 실용적인 프레임워크로, 순차적 추론 분야에 의미 있는 기여를 한다.