Knockoff-C2ST: False Discovery Controlled Attribution of Distribution Shift

Motivation

• Known: C2ST는 P=Q 여부를 판단하는 표준적 global two-sample test로 확립되어 있고, kernel 기반 MMD나 classifier 기반 reduction들이 널리 쓰인다. 또한 Model-X knockoffs는 feature 분포가 알려져 있거나 잘 추정될 때 supervised 변수 선택에서 finite-sample FDR control을 제공하는 것으로 알려져 있다.
• Gap: 기존 C2ST 기반 feature attribution은 좌표 간 상관관계가 있을 때 correlation bias를 그대로 상속하여, shift와 무관한 변수라도 shift된 covariate와 상관되어 있으면 더 큰 importance를 받아 통제되지 않은 false discovery를 만들어낸다. 즉 global test의 타당성이 coordinate-level explanation의 타당성을 보장하지 않는다는 근본적 갭이 존재한다.
• Why: 데이터 분포 변화 탐지에서 단순히 shift가 있었는지 여부보다 어떤 변수가 shift 되었는지를 통계적으로 신뢰성 있게 설명하는 것은 모니터링, 원인 진단, 모델 재보정 등 실무적 의사결정에 핵심적이며, 이를 formal error control 없이 수행하면 잘못된 원인 지목으로 이어질 수 있다.
• Approach: C2ST classifier의 입력을 원본 변수 X와 Model-X knockoff 변수 tilde X로 증강하여 학습시키고, 각 좌표의 importance 차이로 정의되는 antisymmetric statistic W_j = Z_j - tilde Z_j에 knockoff threshold 절차를 적용해 finite-sample FDR을 통제하는 좌표 집합을 선택한다.

Achievement

Figure 1. Synthetic benchmark results comparing Knockoff-C2ST

1. 이론적 정식화: distribution shift에 대한 feature attribution 문제를 domain-label mixture 하의 conditional two-sample testing(H0,j: P(Xj|X-j)=Q(Xj|X-j))으로 formal하게 정의하고, 이 null이 Y⊥Xj|X-j (label irrelevance)와 동치임을 증명함(Lemma 3.2).
2. 알고리즘 제시: 임의의 예측 모델과 flip-sign 성질을 만족하는 importance score(순열 손실 증가, split-gain, Shapley 등)와 호환되는 Knockoff-C2ST 알고리즘을 제시함.
3. FDR control 증명: exact Model-X exchangeability 하에서 selected set이 사용자가 지정한 수준 q에서 finite-sample FDR control을 만족함을 증명하고, approximate exchangeability 하의 명시적 성능 저하도 논의함.
4. 실증적 검증과 한계 진단: 재현 가능한 실험을 통해 dependence 하에서의 강한 FDR calibration, naive attribution의 심각한 false-discovery inflation, 그리고 tree-gain/loss-difference statistic의 보수성 및 stability aggregation의 제한적이지만 nonzero한 검출력을 보고함.

How

• 각 관측치에 대해 pooled feature의 marginal law M을 추정하거나 지정하고, exchangeability와 conditional independence(tilde X ⊥ Y | X)를 만족하는 knockoff 생성기 K로 tilde X를 표본추출함(Gaussian marginal의 경우 SDP-based construction 등 명시적 공식 제공).
• 원본 X와 knockoff tilde X를 결합한 augmented observation A=(X, tilde X)로 C2ST classifier를 cross-fitting과 함께 학습함.
• 학습된 분류기로부터 원본 및 knockoff 변수 각각의 importance Z_j, tilde Z_j를 계산하고 antisymmetric contrast W_j = Z_j - tilde Z_j를 정의함.
• knockoff+ threshold τ를 data-dependent하게 계산하여 (1+#{W_j≤-t})/(#{W_j≥t}∨1) ≤ q를 만족하는 최소 t로 설정하고, W_j ≥ τ인 좌표 집합을 selected set으로 반환함.
• Proposition 3.3을 통해 null 좌표에서 knockoff pair가 exchangeable함을 증명하여, sign symmetry가 finite-sample FDR control로 이어짐을 이론적으로 뒷받침함.

Originality

• C2ST라는 global two-sample test 프레임워크에 Model-X knockoff 기법을 결합하여, distribution shift의 coordinate-level attribution 문제를 multiple-testing 문제로 재정식화한 것이 핵심 독창점임.
• 기존 conditional independence test나 knockoff 문헌이 supervised response association에 초점을 맞춘 것과 달리, 본 논문은 domain 간 conditional distribution shift라는 새로운 추론 대상에 knockoff 기계를 적용함.
• global shift 검정(C2ST)과 coordinate-level null(H0,j)의 동치성을 label irrelevance(Y⊥Xj|X-j)로 명시적으로 연결한 Lemma는 이론적으로 명확한 기여임.
• 최근 conformal/e-value 기반 error-controlled distributional discovery 연구들과의 관계를 명시하며, 향후 conformalized coordinate scores나 stability-aggregated knockoff contrasts 같은 확장 방향을 제시함.

Limitation & Further Study

• exact Model-X exchangeability라는 강한 가정이 필요하며, 실제로는 feature 분포를 정확히 알거나 잘 추정해야 하는데 approximate exchangeability 하에서는 FDR control이 저하됨(swap likelihood-ratio error 기반 명시적 degradation만 제시되고 실질적 완화책은 부족).
• 실험 결과 tree-gain, loss-difference 등 표준 통계량이 지나치게 보수적이어서 검출력(power)이 낮은 심각한 bottleneck이 존재하며, stability aggregation도 제한적 개선만 보임 — 즉 FDR은 통제되지만 실질적 discovery가 거의 없는 상황이 발생할 수 있음.
• 향후 연구로 더 정보성 있는 antisymmetric score 설계(예: conformalized coordinate score, deep knockoff 등), 고차원·비선형 의존구조에서의 knockoff 품질 개선, 그리고 power 향상을 위한 aggregation 기법의 정교화가 필요함.
• 논문 발췌본에서 실험 세부사항(데이터셋 규모, 벤치마크 구성)이 충분히 제시되지 않아 실증적 일반화 가능성 평가가 제한적임.

Evaluation

총평: C2ST와 Model-X knockoff를 결합해 distribution shift의 coordinate-level attribution을 formal FDR control 문제로 전환한 이론적으로 탄탄한 시도이나, 현재 제시된 통계량들의 낮은 검출력이라는 실용적 한계로 인해 실제 적용을 위해서는 후속 연구가 필요한 초기 단계의 워크샵 논문이다.