Anytime-Valid Confirmation of Label-Shift Corrections

Motivation

• Known: Label shift 적응은 보통 추정 문제로 다뤄지며, 충분한 unlabeled target 입력이 있을 때 BBSE와 같은 방법으로 shift ratio w(y)=pt(y)/ps(y)를 추정하여 source predictive를 재조정(retilt)한다.
• Gap: Labeled target outcome이 순차적으로 소량씩 도착하고 unlabeled target 입력만으로는 shift를 신뢰성 있게 추정하기 어려운 상황에서, 실무자가 이미 규제 사양·브리징 실험·도메인 지식 등으로부터 후보 보정(candidate weight)을 가지고 있을 때 "이 보정이 맞는가"를 확인할 수 있는 도구가 없었다.
• Why: 임상 배포 다기관 확산, 과학 계측기 이전, 제조 공정 변화 등 소량 배치(small-batch) 과학적 배포 환경에서, 사전 지정된 보정이 타당한지 매 표본마다 유효한(Type I error가 항상 통제되는) 방식으로 신속히 판단할 수 있다면 옵셔널 스토핑이나 반복 검정에 대한 보정 없이 실시간 모니터링을 정식 순차 검정으로 전환할 수 있어 실무적 가치가 크다.
• Approach: Label-shift로 보정된 tilted predictive epw와 원천 predictive ps 사이의 관측당 likelihood ratio가 predictive null 하에서 conditional e-value임을 보이고, 그 누적곱이 nonnegative martingale(e-process)이 됨을 이용해 Ville's inequality로 anytime-valid confirmation rule을 도출한다.

Achievement

Figure 3. Power vs sample size at ∆= 1.0 (ntr = 50, 1500 trials).

1. NLPD-gap 항등식: log martingale이 source와 corrected predictive 간 누적 negative log-predictive density(NLPD) 차이와 정확히 일치함을 보여, Kelly-optimal betting과 모델 평가(model evaluation)를 연결하고 일상적인 모델 모니터링을 정식 순차 검정으로 전환했다.
2. Anytime-valid confirmation test: 표본 크기를 사전에 지정할 필요 없이 매 시점 Type I error가 α 이하로 통제되는 정지 규칙 τ*를 제시했다(Ville's inequality 기반).
3. GP 폐형식(closed-form) 해: Gaussian process 소스와 Gaussian label-shift tilt 하에서 e-value의 closed form을 유도해 실용적 계산 가능성을 확보했다.
4. 성장률(growth-rate) 특성화: 올바른 보정 하에서 log Mt/t가 KL divergence γ로 수렴함을 보여 점근적 검정력(asymptotic power) 1을 증명했다.
5. 실증 검증: GP regression 시뮬레이션을 통해 Type I error 통제, 유한 표본 검정력(finite-sample power), 모델 미보정(miscalibration) 민감도, 그리고 소량 배치에서 신뢰할 수 있는 사전 지식(prior correction)이 label 기반 재추정보다 우수함을 보였다.

How

Figure 4. Oracle correction vs adaptive re-estimation under end-to-

• Predictive null Hpred_0: Yi | Xi, Fi-1 ~ ps(·|Xi, Dtr) (source predictive 고정)을 정의하고, 도메인 지식 기반 weight w(y)로부터 tilted predictive epw(y|x,Dtr) ∝ w(y)ps(y|x,Dtr)를 구성.
• Lemma 1로 tilted predictive/ps 비율이 w(y)/Zw(x)이며 ps 하에서 기댓값 1임을 증명(즉 likelihood ratio 구조).
• Proposition 1-2로 per-sample ratio ei가 conditional e-value이고, 누적곱 Mt가 nonnegative martingale(e-process)임을 증명.
• log Mt = Σ(NLPDs_i - NLPDw_i)라는 항등식을 통해 martingale과 NLPD gap을 연결.
• Proposition 3에서 Ville's inequality를 적용해 정지 규칙 τ = inf{t: Mt > 1/α}가 PHpred_0(τ<∞) ≤ α를 만족함을 증명, anytime-valid confirmation 확립.
• Proposition 4에서 (Xi,Yi)가 실제로 epw에서 생성될 때 growth rate γ = E[DKL(epw||ps)]로 수렴함을 보여 γ>0이면 거의 확실히 유한 시간 내 기각(power 1)됨을 증명.
• GP 소스와 Gaussian label-shift ratio 조합에 대해 closed-form e-value를 유도.
• GP regression 시뮬레이션으로 Type I error, power, miscalibration 민감도, 소량 배치에서 oracle correction 대 adaptive re-estimation 비교 실험 수행.

Originality

• 기존 label-shift 적응 연구(BBSE 등)가 unlabeled target 데이터로 shift ratio를 "추정"하는 데 초점을 맞춘 것과 달리, 이미 주어진 후보 보정을 "확인(confirm)"하는 상보적 문제를 최초로 formal하게 정식화.
• e-value/e-process 이론(Vovk & Wang, Shafer, Ramdas et al.)을 label-shift 보정 검증이라는 새로운 응용 영역에 접목.
• log martingale과 NLPD gap의 항등식을 통해 Kelly-optimal betting과 일상적 모델 모니터링(routine model monitoring)을 순차 검정으로 통합한 해석 제공.
• GRO(growth-rate-optimal) e-value 대신 의도적으로 고정된 도메인 지식 기반 weight를 사용함으로써 대안 가설을 정밀하게 특정할 필요가 없도록 설계.
• companion work(conformal Bayes under label shift)와 동일한 tilted/source predictive 쌍을 다른 목적(confirmation vs. conformal prediction set)으로 재사용하는 구조적 연결성을 제시.

Limitation & Further Study

• Rejection이 "보정이 정확히 맞다"는 것을 의미하지 않고 단지 "데이터가 방향적으로 지지한다"는 것만 의미하므로, 정량적 shift 정도 추정에는 별도 방법(BBSE 등)이 필요하다는 근본적 한계가 존재.
• 검정력과 성장률은 실제 데이터가 tilted predictive epw에서 생성된다는 가정 하에 유도되었는데, 실제 target 분포가 posited weight와 정확히 일치하지 않는 경우(모델 미스매치, 오분류된 방향 등)의 강건성은 제한적으로만 다뤄짐(모의실험 수준).
• source predictive ps가 미보정(miscalibrated)된 경우 predictive null과 data-level null이 어긋나므로 해석이 복잡해지며, 이 문제에 대한 이론적 분석은 실증적 민감도 분석 수준에 그침.
• Closed-form 결과는 GP 소스 및 Gaussian label-shift ratio라는 제한된 클래스에 한정되어, 분류 문제나 비Gaussian 예측 모델로의 일반화는 후속 연구 과제로 남음.
• 실험이 전적으로 시뮬레이션(GP regression)에 기반하며, 실제 임상·제조 데이터셋을 이용한 실증 검증이 부재.

Evaluation

총평: e-value/martingale 이론을 label-shift 보정 확인이라는 실용적이고 명확한 문제에 깔끔하게 적용한 이론적으로 견고한 연구로, anytime-valid 보장과 NLPD-gap 해석이 특히 인상적이나 GP regression 시뮬레이션에 한정된 검증으로 실제 적용 범위 확장이 필요하다.