Adaptive Inference with Weak Instruments

Motivation

• Known: 2SLS는 강한 도구변수에서는 효율적이지만 약한 도구변수 하에서는 심각한 커버리지 왜곡을 보이며, Anderson–Rubin(AR)이나 Conditional Likelihood Ratio(CLR) 같은 test-inversion 방법은 항상 유효하지만 Dufour(1997)의 결과에 따라 약한 식별 하에서 필연적으로 무한히 넓은(vacuous) 신뢰구간을 낳는다는 것이 알려져 있다.
• Gap: 기존 방법들은 도구변수 강도(κ)와 confounding(ρ)에 자동으로 적응하지 못하며, Stock–Yogo류의 binary pre-testing은 검정 오류 시 전체 추론이 무효화되는 취약성을 가진다. 유효성과 정보성(informativeness)을 동시에, 그리고 도구변수 강도에 자동 적응적으로 만족하는 유한표본(finite-sample) 방법이 부재하다.
• Why: MIMIC-IV 데이터를 이용한 기계환기와 ICU 사망률 분석에서 보듯, 약한 도구변수 하위그룹에서 고전적 AR/CLR 검정이 0을 배제하며 치료가 해롭다고 잘못 시사할 수 있어, 임상 및 계량경제학적 의사결정에서 타당하면서도 informative한 신뢰구간 구성법이 실질적으로 중요하다.
• Approach: bias-controlled 추정량(OLS)과 valid 추정량(2SLS)을 데이터 의존적 가중치 ω∈[0,1]로 convex combination하면 ω의 값에 무관하게 커버리지가 보존된다는 원리를 이용하고, 이 가중치를 e-process 진단(다변량 GROW e-value와 e-process confidence set width)으로 적응적으로 설정하는 StAR를 제안한다.

Achievement

Figure 1. StAR vs. baselines across 120 configurations (n = 200, dz = 2, 95% nominal, 1000 reps). (a) Maximum coverage g

1. Convex inference 원리 증명: bias-controlled 추정량과 valid 추정량을 임의의 데이터 의존적 가중치 ω로 결합해도 커버리지가 두 추정량 모두로부터 상속되어 보존됨을 증명(Coverage 정리, Theorem 3.2).
2. StAR 알고리즘 제안: 다변량 GROW e-value(λmax)와 e-process confidence width(WCS)를 결합한 ω = λmax/(λmax+c0) · sqrt(max(0,1-WCS/wmax))로 가중치를 구성하여, 도구변수 관련성 증거와 국소화(localization) 충분성을 동시에 요구.
3. 세 가지 유한표본 이론 결과: (i) StAR의 커버리지 보장, (ii) 약한 도구변수에서 OLS-유사, 강한 도구변수에서 IV-efficient로 전환하는 명시적 폭(width) 수렴률 O(κ⁻¹n⁻¹/²) vs O((1+κ²)⁻¹+n⁻¹/²) (Theorem 4.4), (iii) oracle MSE 대비 상수배 이내의 oracle inequality(Theorem 4.3).
4. 실험적 검증: 합성 데이터에서 ≥96% 커버리지와 AR 대비 6배 좁은 구간을 달성했으며, 임상 AI(MIMIC-IV) 및 계량경제(Angrist-Krueger return-to-schooling) 데이터에서 valid하고 informative한 CI 및 집단적 도구변수 강도 탐지 성능을 입증.

How

Figure 3. Mean squared error decomposition of confidence-interval midpoints as a function of per-instrument signal stren

• 선형 IV 모형(Stage-2: Y=β*X+η, Stage-1: X=π'Z+ε)에서 exclusion restriction, sub-Gaussian errors, instrument regularity 등 표준 가정 하에 이론 전개
• $\hat\beta_\omega \triangleq \omega\hat\beta_{IV}+(1-\omega)\hat\beta_{OLS}$로 중심을 정의하고, 신뢰폭 $2h_\omega \triangleq 2\omega w_{IV}+2(1-\omega)(w_{OLS}+B)$를 사용(B는 concentration parameter로부터 유도된 OLS endogeneity bias의 원리적 상한)
• e-process 기반 다변량 GROW e-value로 IV moment condition(예측오차와 IV의 독립성)을 파라미터 그리드 전체에서 동시에 검정하여 λmax를 계산, F-statistic의 비점근적(non-asymptotic) 유사물로 사용
• e-process confidence set width WCS를 quality gate로 사용하여 λmax가 크더라도 아직 국소화되지 않았으면 IV에 의존하지 않도록 함
• 두 진단을 곱셈적으로 결합해 ω를 산출하고, 이를 통해 finite-sample coverage, width adaptation rate, oracle MSE 근접성을 정리(Theorem)로 증명
• 합성 데이터(120개 설정, n=200, dz=2, 1000 reps), Oregon Health Insurance Experiment 준합성 데이터, MIMIC-IV 임상 데이터, Angrist-Krueger 계량경제 데이터를 이용한 실증 검증

Originality

• 기존에는 test-based(AR/CLR)와 regression-based(2SLS) 방법을 이분법적으로 선택해야 했으나, 본 논문은 두 추정량을 convex combination으로 "혼합"하는 새로운 설계 원리를 제시해 validity와 efficiency의 트레이드오프가 필연적이지 않음을 보임
• e-process/e-value 이론(Grünwald et al., 2024a)을 IV 추론 문제에 적용하여 다변량 IV 강도를 비점근적으로 진단하는 최초의 시도로 보임
• Stock-Yogo류의 binary pre-testing과 달리 연속적(smooth) 가중치 전환을 통해 pre-testing의 취약성(사전 검정 오류 시 전체 무효화)을 회피
• 강도(κ)와 confounding(ρ) 모두에 적응하면서도 non-asymptotic 분석을 제공하는 유일한 방법으로 자리매김(Table 1 비교)

Limitation & Further Study

• 이론이 sub-Gaussian error, 알려진 exclusion restriction 등 비교적 강한 분포적/모형적 가정에 의존하므로, 실제 임상/경제 데이터에서 이 가정들이 위배될 경우 이론적 보장이 약화될 가능성
• 단일 endogenous treatment(X∈R)를 다루는 선형 IV 모형에 국한되어 있어, 다중 내생변수(multiple endogenous regressors)나 비선형 구조로의 일반화가 추가 연구 과제로 남음
• e-process 기반 하이퍼파라미터(c0, wmax 등)의 선택이 실제 성능에 미치는 민감도 분석이 본문 발췌에서는 충분히 다루어지지 않음
• 극단적 confounding(ρ≥0.8)과 매우 약한 도구변수 조합에서는 Figure 1(a)에서 보듯 커버리지 이득이 음수(-12~-52pp)로 나타나는 실패 영역이 존재하여, 이 영역에 대한 추가적 이론적/실무적 보완이 필요

Evaluation

총평: 약한 도구변수 추론에서 오랫동안 존재해온 validity-efficiency 트레이드오프를 convex combination과 e-process 진단이라는 참신한 결합으로 해소한 이론적으로 탄탄하고 실용적으로도 검증된 우수한 연구이다.