Learning Treatment Representations for Downstream Instrumental Variable Regression

Motivation

• Known: 전통적 IV 추정량은 order condition에 의해 instrument 수가 treatment 수 이상이어야 식별이 가능하며, 이를 우회하기 위해 PCA나 autoencoder 같은 비지도 차원축소를 먼저 적용한 뒤 2SLS 등 IV 추정을 수행하는 방식이 관행적으로 사용되어 왔다.
• Gap: 비지도 차원축소는 instrument Z를 전혀 고려하지 않기 때문에 학습된 표현 D가 Z에 의해 유도되는 treatment X의 변동을 보존한다는 보장이 없고, 이로 인해 exclusion restriction이 깨지는 omitted treatment bias가 발생하여 downstream IV 추정이 무효화된다.
• Why: 임상 치료 경로처럼 수천 개의 billing code로 이루어진 고차원 treatment와, 병원까지의 거리 차이나 요일별 입원 패턴 변이 같은 저차원 instrument만 존재하는 현실적 상황에서, 유효한 인과효과 추정 및 개선된 개입(intervention) 방향을 식별할 수 있는 방법론은 정밀의료·정책평가 등에 실질적 가치가 크다.
• Approach: instrument Z를 표현학습 과정에 명시적으로 regularizer로 포함시켜, 학습된 저차원 표현 D가 Z에 의해 유도된 treatment X의 성분을 포착하도록 강제함으로써 IV 분석에 필요한 식별 조건을 만족시키는 Instrument-Guided Representation Learning(IGRL) 프레임워크를 제안한다.

Achievement

Figure 3. Comparison of Distribution of Recovery Time improve-

1. 이론적 식별 보장: instrument가 제한적이더라도(즉 treatment 차원보다 적은 instrument 수에서도) instrument-guided 표현학습이 outcome-prediction에 최적인 개입 방향을 식별할 수 있음을 증명함.
2. omitted treatment bias 문제 정식화: 기존 비지도 차원축소+2SLS 파이프라인이 causal graph 상에서 exclusion restriction을 위반하는 구조적 원인을 그래프로 규명함(Figure 1).
3. 실증적 성능 우위: 대형 병원 실제 기록 기반 semi-synthetic 임상 데이터와 nonlinear MNIST 기반 벤치마크에서 IGRL이 전통적 two-stage 방법 대비 유의미하게 우수한 성능을 보임.

How

Figure 2. Intervention on learned representation.

• 관측 변수 (Z, X, Y)를 대상으로, X는 고차원 treatment, Z는 저차원 instrument, Y는 scalar outcome이며 unobserved confounder U가 X와 Y 모두에 영향을 미치는 구조적 인과모형을 설정.
• 학습된 저차원 표현 D가 Z에 의해 구동되는 X의 성분을 보존하도록 encoder를 instrument-aware 방식으로 정규화.
• D 위에서 표준 IV 방법(예: 2SLS 유사 절차)을 적용하여 outcome-improving intervention 방향을 식별.
• 식별된 저차원 개입 방향을 원래 고차원 treatment 공간으로 다시 매핑하여 실제 개입(intervention) 제안에 활용(Figure 2, 4).
• 이론적으로는 완전성(completeness) 조건을 고차원 X 공간이 아닌 저차원 표현 공간에서만 요구함으로써 기존 비모수 IV 방법(DeepIV 등)보다 약한 조건 하에서 식별 가능함을 증명.
• iVAE, Rep4Ex 등 관련 표현학습 프레임워크와의 차별점을 이론적으로 논의(Z를 encoder 입력으로 사용하지 않음, 개입 대상이 latent treatment space라는 점).

Originality

• 기존 causal representation learning 연구는 주로 latent causal graph 식별(causal discovery)에 초점을 맞추었으나, 본 연구는 downstream IV regression을 위한 표현학습이라는 명확히 다른 목표를 설정.
• 관측된 confounder에 대한 표현학습(Nabi et al., Andreu et al.)이나 고차원 confounder의 omitted variable bias 해결 연구(Vafa et al., Melnychuk et al.)와 달리, unobserved confounder가 존재하는 상황에서 instrument를 활용해 고차원 treatment 표현을 학습한다는 점에서 구별됨.
• 고전적 IV+PCA/factor model 연구(Rao, Sabatier et al., Kelly et al., Wang)가 선형모형에 국한된 반면, 본 연구는 비선형 표현학습으로 확장.
• iVAE와 유사하지만 instrument Z를 encoder 입력으로 사용하지 않고, treatment 표현만으로 개입을 정의한다는 점에서 실용적으로 차별화되며, Rep4Ex 대비 개입 대상을 auxiliary variable이 아닌 latent treatment space로 설정하고 구조모형을 더 일반화(노이즈 및 다성분 변동 허용).

Limitation & Further Study

• 발췌된 내용에서는 이론적 식별 증명의 구체적 가정(예: completeness 조건의 정확한 형태, 표현 차원 D의 결정 방법)이 상세히 제시되지 않아 실제 적용 시 하이퍼파라미터 선택 및 강건성에 대한 추가 검증이 필요함.
• semi-synthetic 임상 데이터와 MNIST 기반 벤치마크에 한정된 검증으로, 실제 관측 데이터에서의 instrument 타당성(exclusion restriction, relevance) 위반 시 성능 저하 가능성에 대한 민감도 분석이 부족해 보임.
• instrument가 매우 약하거나(weak instrument) 여러 개의 상충하는 confounding 구조가 존재하는 경우에 대한 이론적/실증적 논의가 추가로 필요.
• 학습된 저차원 표현이 실제 임상적으로 해석 가능한 개입(예: '공격적 수술 vs 보존적 관리')으로 매핑되는 과정의 안정성 및 재현성에 대한 후속 연구가 요구됨.

Evaluation

총평: 고차원 treatment와 소수의 instrument라는 실질적 제약 하에서 IV 분석의 유효성을 회복시키는 이론적으로 탄탄하고 실용적으로도 의미 있는 기여를 하는 연구로, causal representation learning과 IV 문헌 사이의 공백을 잘 메운 논문이다.