Semi-knockoffs: a model-agnostic conditional independence testing method with finite-sample guarantees

Motivation

• Known: 기존 CIT 방법들은 크게 두 갈래로 나뉜다: (1) LOCO, CFI(conditional permutation) 등 model-agnostic한 variable importance 방법은 refit 또는 test set 평가를 통해 asymptotic type-I error를 얻지만 train-test split으로 인해 검정력이 떨어진다. (2) knockoffs, CRT/dCRT 등 model-X 프레임워크 기반 방법은 finite-sample 보장을 제공하지만 입력 분포를 알아야 하거나(model-X 가정), transparent 모델(Lasso 등)에 의존하는 경향이 있다.
• Gap: 사전학습된 복잡한 ML 모델을 그대로 CIT 통계량 설계에 활용하려는 시도(HRT, knockoff statistics 기반 접근 등)는 train-test split을 요구하여 소표본에서 검정력이 저하되거나, exchangeability나 knockoff constraint를 완전히 만족시키지 못해 asymptotic type-I error만 보장하는 한계가 있다. 즉, model-agnostic성과 finite-sample 유효성, split-free 절차를 동시에 만족하는 방법이 부재하다.
• Why: CIT는 spurious finding을 방지하고 고차원 유전체학·과학적 발견에서 신뢰할 수 있는 feature selection을 가능케 하는 핵심 통계 도구이며, ML 모델의 예측력을 활용하면서도 엄밀한 finite-sample 통계 보장을 제공하는 방법은 해석가능한 ML과 통계적 추론 사이의 간극을 메우는 데 중요하다.
• Approach: 저자들은 model-X의 완전한 입력 분포 가정 대신 연속 변수의 conditional expectation만을 요구하는 새로운 sampler를 설계하고, 이를 knockoff-유사 구조(Semi-knockoffs)에 결합하여 train-test split 없이 finite-sample type-I error 및 FDR 제어를 이론적으로 증명한다.

Achievement

Figure 6. Discoveries on real data across ML models. The

1. Semi-knockoffs 절차 제안: 임의의 사전학습된 ML 모델을 받아들이면서도 train-test split과 exact knockoff variable 구성 없이, knockoff statistic에 부과되는 제약도 회피하는 새로운 CIT 방법을 제시하고, finite-sample type-I error 및 FDR control을 증명하였다.
2. Estimated sampler 하에서의 이론적 결과: (i) null feature로 학습된 regularized 모델의 stability를 증명하여 Semi-knockoffs의 distributional convergence를 보이고, (ii) double-robustness 성질을 제시하여 모델 또는 sampler 중 하나만 정확해도 제어가 성립함을 규명하였다(모델과 sampler가 함께 빠르게 수렴할 때의 제어를 conjecture로 제시).
3. 광범위한 실험적 검증: 최신 variable selection/importance 방법들과 비교하여 Optimization stability(Fig 1), Double Robustness(Fig 3), adjacent support 및 masked correlation 하의 Type-I error(Fig 4, 5), 그리고 실제 데이터에서 여러 ML 모델에 걸친 discoveries(Fig 6)를 통해 방법의 유효성과 실용성을 입증하였다.

How

Figure 3. Empirical evidence for Double Robustness: Dis-

• Conditional expectation 기반 sampler를 도입하여 model-X의 전체 분포 가정을 완화하고, 연속 변수에 대해 conditional expectation만 추정
• Null feature(가짜 feature)를 포함하여 regularized model을 재학습할 때의 stability를 이론적으로 분석해 estimated sampler 하에서도 distributional convergence 보장
• Double-robustness 이론을 도출하여 모델 또는 conditional sampler 중 하나만 정확해도 유효성이 유지됨을 증명
• Knockoff 프레임워크의 통계량(threshold, W-statistics) 설계를 개조하여 train-test split 없이 finite-sample FDR control 달성
• Simulation(Fig 1,3,4,5) 및 real-data(Fig 6) 실험을 통해 optimization stability, double robustness, type-I error control, 실제 discovery 성능을 다각도로 검증

Originality

• Model-X의 강한 가정(전체 입력 분포 known)을 conditional expectation만 요구하는 형태로 완화하여, 기존 knockoff/CRT 계열보다 실용적인 조건을 제시함
• Train-test split을 회피하면서도 finite-sample 통계 보장을 제공하는 최초의 model-agnostic 절차로, 기존 HRT/dCRT의 split 필요성이라는 근본적 제약을 해소함
• Null feature로 학습된 regularized model의 stability와 double-robustness라는 독립적으로도 흥미로운 두 이론적 결과를 새롭게 도출함

Limitation & Further Study

• Double-robustness의 "모델과 sampler가 함께 빠르게 수렴할 때의 제어"는 증명이 아니라 conjecture로 제시되어 있어 완전한 이론적 보장이 아직 부족함
• Conditional expectation 추정 자체가 고차원에서 어려울 수 있으며, 추정 오차가 실제 finite-sample 성능에 미치는 영향에 대한 정량적 분석이 제한적일 수 있음
• 실험이 특정 시뮬레이션 설정(adjacent support, masked correlation)과 제한된 real-data 사례에 국한되어, 다양한 실제 도메인(예: 대규모 유전체 데이터)에서의 검증이 추가로 필요함
• 후속 연구로 double-robustness conjecture의 엄밀한 증명, 이산형(discrete) 변수로의 확장, 다양한 ML 모델 클래스에 대한 stability 조건의 일반화 등이 요구됨

Evaluation

총평: Model-X 가정을 완화하면서 train-test split 없이 finite-sample 통계 보장을 제공하는 실용적이고 이론적으로 탄탄한 CIT 방법으로, ML 모델을 활용한 과학적 발견 분야에 실질적 기여를 하는 논문이다. 다만 double-robustness의 핵심 결과가 conjecture 수준에 머무는 점은 후속 연구로 보완되어야 한다.