Sequential Kernel-based Conditional Independence Testing via Adaptive Betting

Motivation

• Known: testing-by-betting과 e-value 기반 anytime-valid testing 프레임워크는 순차적 데이터 스트림에서 유연한 정지 시점을 허용하는 유의한 대안으로 자리잡았으며, Model-X 패러다임은 조건분포 PA|C가 정확히 알려져 있다는 가정 하에 Shah & Peters(2020) 및 Waudby-Smith & Ramdas(2023)의 불가능성 결과를 우회하여 CI testing을 가능하게 한다.
• Gap: 기존의 sequential Model-X CI test들(Shaer et al., 2023; Pandeva et al., 2024a,b)은 PA|C가 정확히 알려져 있다고 가정하는데, 실제로는 이 조건분포를 보조 데이터로부터 추정해야 하는 경우가 많고, 이렇게 근사된 null-calibrated 샘플 eZ에 대해 검정력이 강한 통계량일수록 오히려 근사 오차를 탐지해 Type I error가 팽창하는 문제가 발생하며, 온라인 설정에서는 무한히 많은 정지 기회에 걸쳐 이 문제가 더욱 심각해진다.
• Why: 차별에 대한 법적/윤리적 검증(예: 인종에 따른 보험료 차별), 공정성 지표(equalized odds) 만족 여부, 모델의 분포 이동에 대한 강건성, 의학 연구에서의 조건부 연관성 분석 등 실세계의 많은 순차적 의사결정 문제가 조건부독립성 검정으로 정식화되는데, Model-X 조건분포를 정확히 알 수 없는 현실적 상황에서도 타당하고 강건한 검정 방법을 제공하는 것은 실용적 가치가 크다.
• Approach: explicit한 null-calibrated 샘플 eZ를 명시적으로 구성하는 대신, 데이터에 의존하는 shift γt를 도입해 wealth 프로세스가 귀무가설 하에서 근사적으로 supermartingale이 되도록 하는 payoff function ft(Zt) = gt(Zt; γt)를 설계하고, 이를 adaptively optimized Kernel Conditional Independence(KCI) 통계량과 결합한다.

Achievement

Figure 5. Car insurance discrimination data, Online mode. Top rows give Type I error, bottom rows give power for data ac

1. 강건한 sequential CI test 제안: Model-X 조건분포가 정확히 알려진 경우뿐 아니라 온라인으로 추정되어야 하는 경우에도 Type I error 팽창을 크게 줄이면서 높은 검정력을 유지하는 새로운 방법을 제시했다.
2. 정규화 및 truncate-and-shift 보정 전략 도입: adaptive betting에 정규화 스킴과 truncate-and-shift calibration을 결합하여, 근사 오차가 있는 상황에서도 wealth 프로세스가 supermartingale에 가깝게 유지되도록 했다.
3. 경험적 우수성 입증: 고차원 synthetic benchmark와 실세계 fairness task(예: car insurance discrimination data)에서 기존 sequential Model-X 접근법 대비 우수한 성능을 보였다.
4. 일반적 원칙 정립: 약한 신호 하에서 증거를 빠르게 축적하는 검정 통계량 선택 원칙을 정식화하여, CI testing에 국한되지 않고 testing-by-betting 전반에 적용 가능한 통찰을 제공했다.

How

Figure 5. Car insurance discrimination data, Online mode. Top rows give Type I error, bottom rows give power for data ac

• testing-by-betting 프레임워크를 채택하여, 매 라운드마다 payoff function ft와 베팅 비율 λt를 선택해 wealth Wt = Wt-1(1 + λt ft(Zt))를 갱신하고, Ville's inequality를 통해 anytime-valid한 level-α 검정을 구성한다.
• 기존 방법들처럼 명시적 null-calibrated 샘플 eZt를 구성하는 대신, adaptively optimized Kernel Conditional Independence(KCI) 통계량 gt(Zt; γt)에 데이터 의존적 shift γt를 도입하여 근사적으로 EH0[ft | Ft-1] ≤ 0을 만족시킨다.
• 정규화(normalization) 스킴을 적용해 통계량의 스케일 변동성을 통제하고, truncate-and-shift 보정을 통해 추정 오차로 인한 wealth 프로세스의 초과 성장을 억제한다.
• 고차원 synthetic benchmark(선형 종속 Gaussian 데이터, CI hardness 데이터, synthetic neural 데이터, dSprites 데이터)와 real-world fairness task(car insurance discrimination 데이터)에서 online 모드로 Type I error와 검정력을 실험적으로 평가한다.

Originality

• 기존 sequential CI test들이 명시적인 null-calibrated 샘플 eZ 생성에 의존하는 것과 달리, 데이터 의존적 shift를 이용한 payoff function 설계로 이 문제를 우회한 점이 독창적이다.
• adaptive betting에 Kernel Conditional Independence 통계량을 결합하고 truncate-and-shift라는 새로운 보정 전략을 제안하여, Model-X 조건분포 추정 오차에 대한 강건성을 명시적으로 다룬 최초의 sequential 접근법 중 하나로 보인다.
• 약한 신호 하에서 증거 축적 속도를 최적화하는 통계량 선택에 대한 일반 원칙을 제시하여, CI testing을 넘어 testing-by-betting 분야 전반에 기여할 수 있는 이론적 틀을 제공한다.

Limitation & Further Study

• 발췌된 본문에서는 방법론의 이론적 세부사항(정확한 alpha level 보장 여부, truncate-and-shift의 구체적 수식)과 실험 결과의 정량적 수치가 충분히 제시되지 않아, Type I error 통제와 검정력 향상의 정도를 명확히 판단하기 어렵다.
• Shah & Peters(2020) 및 Waudby-Smith & Ramdas(2023)의 근본적 불가능성 결과에 비추어, 완전한 Type I error 통제는 이론적으로 불가능하므로, 제안된 방법이 어떤 조건 하에서 근사적 통제를 보장하는지에 대한 명확한 이론적 경계 제시가 필요하다.
• 후속 연구로는 다양한 커널 선택 및 고차원 C에 대한 조건분포 추정 오차가 검정 성능에 미치는 영향을 정량적으로 분석하고, 실제 응용에서의 보수성-검정력 트레이드오프에 대한 가이드라인을 제공하는 작업이 필요할 것이다.

Evaluation

총평: Model-X 조건분포 추정 오차에 대한 강건성이라는 실용적으로 중요한 문제를 다루며, adaptive betting과 KCI 통계량, truncate-and-shift 보정을 결합한 독창적인 접근을 제시한 흥미로운 워크숍 논문이다. 다만 발췌된 내용만으로는 이론적 보장의 엄밀성과 실험 결과의 구체적 수치를 완전히 평가하기 어려워, 전체 논문에서의 세부 검증이 중요할 것으로 보인다.