Sequential Conditional Independence Testing with Machine Learning Models

Motivation

• Known: Model-X 가정 하의 Conditional Randomization Test(CRT)와 knockoffs, 그리고 log-optimal e-variable에 기반한 density e-value(Grünwald et al., 2024b)가 조건부 독립성 검정의 표준적 접근으로 연구되어 왔으며, Shaer et al. (2023)은 손실 기반 statistic과 antisymmetric function을 이용한 순차적 eCRT를 제안했다.
• Gap: 기존 density 기반 log-optimal e-value는 실제 conditional density fY|X,Z를 요구하는데 이는 머신러닝 모델과 직접 연결하기 어려우며, Shaer et al.의 eCRT는 어떤 antisymmetric statistic이 최적인지 불분명하고, bounded loss 세팅에서 coin-betting e-value와의 관계 및 우열 비교가 이루어지지 않았다.
• Why: 과학적 발견에서 feature importance를 안전하게(any-time valid) 평가하려면 데이터를 유연하게 순차 수집·결합할 수 있는 e-value/e-process 기반 검정이 필요하며, 이때 복잡한 블랙박스 머신러닝 모델을 어떻게 최적으로 통합할지가 실용적으로 중요한 문제이기 때문이다.
• Approach: feature X를 제거했을 때 모델 성능이 하락하는 정도를 이용해, bounded loss에 대한 coin-betting e-value와 density 기반 접근을 모방하는 exponential e-value 두 가지를 구성하고 이를 model misspecification 상황에서 비교 분석한다.

Achievement

Figure 3. HIV dataset: Evidence collected against the null for three different mutations.

1. Coin-betting e-value 제안: bounded loss에 대해 Shaer et al.의 eCRT를 marginalization을 통해 일반화한 형태의 coin-betting e-value Eλ_cb를 도출함.
2. Exponential e-value 제안: Grünwald et al. (2024b)의 density 기반 e-value를 모방하여 손실을 exponentiate한 pseudo-probability 기반 Eη_exp를 제안함.
3. 우열 비대칭성 규명: misspecified 세팅에서 이론적·실험적으로 두 e-value 중 어느 하나도 균일하게 우월하지 않음을 증명하고 시각적으로(Figure 1, 2) 보임.
4. 최적 antisymmetric g-function 도출: exchangeability null hypothesis에 대해 최적의 g 함수를 제시함.
5. 실용 알고리즘 제공: loss 분포에 대한 antisymmetric kernel density estimation을 포함한 실행 가능한 알고리즘들을 부록에 제시하고, HIV 데이터셋 실험(Figure 3)으로 검증함.

How

Figure 2. Antisymmetric vs. exponential: Y = (Z⊤W)2 +

• Model-X 가정 하에서 X를 조건부 분포 L(X|Z)로부터 생성된 대체 변수 X̃로 치환하여 원 모델과 수정 모델의 손실을 비교
• coin-betting e-value: Eλ_cb = 1 + λ(−l(m(X,Z),Y) + E_X̃|Z[l(m(X̃,Z),Y)]) 형태로 정의, λ는 σ(Y,Z)-measurable 함수로 일반화
• exponential e-value: 손실을 η로 exponentiate하고 null 하에서 정규화하여 pseudo-density 형태의 Eη_exp = exp(−ηl(m(X,Z),Y)) / E_X̃|Z[exp(−ηl(m(X̃,Z),Y))] 구성
• 두 e-value의 성장률(growth-rate) 최적성 및 admissibility 조건을 이론적으로 분석하고, misspecified 상황(밀도가 exponentiated-loss 형태를 따르지 않는 경우)에서 우위가 뒤바뀌는 사례를 시뮬레이션으로 검증
• antisymmetric kernel density estimation을 활용해 loss 분포를 추정하는 실용 알고리즘을 설계하고 HIV 데이터셋에 적용하여 증거(evidence) 축적 과정을 비교

Originality

• Model-X 하의 조건부 독립성 검정에서 머신러닝 모델의 손실 변화(feature drop-in 성능 저하)를 직접 e-value 구성에 활용하는 새로운 연결고리를 제시
• 기존에 독립적으로 연구되던 density 기반 log-optimal e-value(Grünwald et al.)와 coin-betting/eCRT 기반 접근(Shaer et al.)을 통합적 시각에서 비교하고 이들이 서로 다른 최적성 조건 하에 있음을 명확히 규명
• exchangeability null hypothesis에 대한 최적 antisymmetric g-function을 도출한 점, 그리고 loss 분포 추정을 위한 antisymmetric kernel density estimation이라는 실용적 도구 제안

Limitation & Further Study

• bounded loss를 가정하고 있어 unbounded loss 세팅은 부록으로 미루어져 있어 본문에서 충분히 다뤄지지 않음
• 두 e-value 중 어느 것이 우월한지 실무자가 사전에 판단할 수 있는 명확한 기준이나 가이드라인이 부족하여, 실제 적용 시 선택 문제가 여전히 남아있음
• 실험이 시뮬레이션과 단일 HIV 데이터셋에 국한되어 있어 다양한 실제 데이터셋에서의 일반화 가능성 검증이 추가로 필요함
• 두 e-value를 결합하거나 적응적으로 선택하는 방법(e.g. mixture, switching 전략)에 대한 후속 연구가 필요해 보임

Evaluation

총평: 머신러닝 모델 기반 순차적 조건부 독립성 검정에서 서로 다른 이론적 배경을 가진 두 e-value를 명확히 비교하고 실용적 알고리즘까지 제시한 워크숍 논문으로, 이론적 통찰과 실무적 유용성을 겸비하고 있으나 데이터셋 규모가 제한적이며 실무 가이드라인이 더 필요하다.