WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales

Motivation

• Known: 기존 conformal prediction과 conformal test martingale(CTM)은 exchangeability(또는 IID) 가정 하에서 유효한 conformal p-value를 이용해 순차적으로 분포 이탈을 탐지하는 anytime-valid 검정 도구로 알려져 있으며, Vovk et al.의 연구 등을 통해 이론적 기반이 마련되어 있다.
• Gap: 기존 CTM 기반 방법들은 exchangeability 위반이라는 제한된 alarm criteria만 다룰 수 있고, mild/benign shift에도 불필요한 알람을 발생시키며 온라인 적응이 불가능하고, 알람 발생의 근본 원인(covariate shift인지 concept shift인지)을 진단할 수 없다는 한계가 있다.
• Why: 고위험 환경에 배포된 AI 시스템은 사전 검증만으로 모든 배포 조건에서의 신뢰성을 보장할 수 없기 때문에, 배포 후 실시간으로 유해한 분포 변화만 선별적으로 탐지하고 그 원인을 진단하여 신속한 재훈련 등의 대응을 가능하게 하는 모니터링 방법론이 책임 있는 AI 배포에 필수적이다.
• Approach: 본 논문은 online weighted-conformal p-value 시퀀스로부터 구성되는 WCTM이라는 이론적 프레임워크를 제안하고, 이를 실제 응용에 적용하기 위해 WATCH라는 구체적 알고리즘 및 root-cause 진단 절차를 설계한다.

Achievement

Figure 3. Example martingale trajectories of WCTM and CTM on CIFAR-10-C with increasing levels of corruption. WCTM adapt

1. WCTM 이론 정립: exchangeability를 넘어서는 광범위한 null hypothesis 클래스(모델링·적응 대상이 되는 shift 포함)에 대한 순차적 검정을 가능케 하는 weighted-conformal test martingale 이론을 제시하고 false-alarm 제어를 보장한다.
2. WATCH 프레임워크 제안: mild covariate shift에 온라인 적응하여 불필요한 알람을 줄이고, harmful shift를 신속히 탐지하며, X-CTM과의 결합을 통해 알람의 원인을 concept shift 또는 극단적(out-of-support) covariate shift로 진단하는 실용적 알고리즘을 제안한다.
3. 실증적 성능 개선: 실제 데이터셋(예: CIFAR-10-C 등)에서 state-of-the-art 베이스라인 대비 개선된 탐지 속도와 불필요한 알람 회피 성능을 입증한다.

How

Figure 5. Results for root-cause analysis with a WCTM (blue) and a secondary X-CTM (gray) on the MEPS dataset, averaged

• Split conformal 설정에서 pretrain된 AI/ML 모델 μ̂와 nonconformity score 함수 Ŝ를 이용해 online weighted-conformal p-value를 정의
• 표준 conformal p-value(Eq. 2)를 weighted 방식으로 확장하여 covariate shift 등 특정 shift 클래스에 대해서도 valid한 p-value 시퀀스를 구성
• 이 weighted p-value 시퀀스를 betting 기반 martingale로 결합하여 WCTM을 구성하고, exchangeability null Hex_0을 일반화한 광범위한 null hypothesis에 대해 anytime-valid한 false-alarm 제어를 이론적으로 증명
• X-CTM(입력 X에만 의존하는 표준 CTM)을 보조 신호로 활용해 WCTM의 adaptation phase 개시 시점을 동적으로 결정하고, X-CTM과 WCTM의 알람 여부 조합을 통해 root-cause(covariate shift vs concept shift)를 진단
• 합성 데이터(sepsis 예시 기반 시나리오)와 실제 데이터셋(tabular 데이터, CIFAR-10-C 등)에서 benign/harmful shift 시나리오를 설계하여 알고리즘 검증

Originality

• 표준 CTM을 weighted-conformal 방식으로 일반화하여 exchangeability를 넘어서는 광범위한 null hypothesis 클래스를 다룰 수 있는 이론적 틀(WCTM)을 새롭게 제시
• 단순 탐지를 넘어 온라인 적응(adaptation), 신속 탐지(detection), 원인 진단(diagnosis)이라는 세 가지 기능을 통합한 최초의 모니터링 프레임워크(WATCH) 제안
• X-CTM과 WCTM의 조합을 통해 알람의 근본 원인을 covariate shift와 concept shift로 구분하는 새로운 root-cause 분석 메커니즘 도입

Limitation & Further Study

• 이론적 보장이 split conformal 설정을 기본으로 하며 full conformal로의 확장이 계산 비용 측면에서 어떻게 실용적으로 다뤄질지 추가 검증이 필요
• weight 함수(예: covariate shift에 대한 likelihood ratio 등)의 추정 오류가 WCTM의 false-alarm 제어 및 적응 성능에 미치는 영향에 대한 강건성 분석이 제한적일 수 있음
• 실험이 특정 synthetic 및 몇몇 real-world 데이터셋(CIFAR-10-C, tabular 데이터 등)에 국한되어 있어, 더 다양한 고차원·복잡한 concept shift 시나리오 및 다중 shift가 동시에 발생하는 상황에 대한 일반화 검증이 후속 연구로 필요
• 근본 원인 진단이 covariate shift와 concept shift라는 이분법에 의존하는데, 두 종류가 혼재된 복합적 shift에 대한 진단 정밀도는 추가 연구가 필요

Evaluation

총평: 이 논문은 conformal test martingale을 weighted 방식으로 확장하여 실제 AI 배포 환경에서 요구되는 적응·탐지·진단 기능을 통합한 실용적이고 이론적으로 탄탄한 모니터링 프레임워크를 제시하며, 워크숍 논문으로서 후속 확장 연구의 가능성을 잘 보여준다.