Learning General Causal Structures with Hidden Dynamic Process for Climate Analysis

Motivation

• Known: 기존 Causal Representation Learning(CRL)은 nonlinear ICA 기반으로 auxiliary variable, sparsity, 제한된 생성 함수 등을 활용해 잠재 변수를 식별해왔으며, noise-free하고 invertible한 zt에서 xt로의 생성 과정을 가정한다. 한편 Causal Discovery(CD) 분야는 FCI와 같은 알고리즘으로 잠재 confounder가 존재하는 상황에서도 관측 변수 간 인과관계를 asymptotically 정확하게 추정할 수 있다.
• Gap: 기존 CRL은 잠재 요인 식별에 집중하여 지리적으로 인접한 관측 변수들 간의 직접적인 causal relation(예: 인접 지역 간 열전달)을 간과하며, 기존 CD 방법(FCI 등)은 잠재 변수와 그 상호작용을 복원하지 못해 정보성이 부족하다. 즉, 관측 변수 간 인과구조와 잠재 동적 프로세스를 동시에 모델링하고 식별할 수 있는 통합 프레임워크가 부재하다.
• Why: 기후 시스템은 관측 불가능한 대기 프로세스 등 잠재 driver와 지리적으로 인접한 관측 변수 간 직접적 인과관계가 공존하는 복합 시스템이므로, 두 요소를 동시에 식별할 수 있어야 과학적으로 신뢰 가능한 인과 추론과 예측이 가능하며, 이는 기후 분석의 해석 가능성과 실용성을 크게 높일 수 있다.
• Approach: 시계열의 문맥 정보(contextual information)를 활용해 nonparametric 설정에서도 잠재 변수와 관측 변수 간 causal structure를 동시에 식별 가능함을 증명하고, 이를 구조적 제약을 가진 state-space VAE 형태의 생성 모델 CaDRe로 구현한다.

Achievement

Figure 5. Our analysis suggests that, during the mid-1970s,

1. 동시 식별 이론: 잠재 동적 프로세스와 관측 변수 간 인과 구조가 nonparametric 설정에서도 시계열 데이터로부터 동시에 identifiable함을 증명(Theorem 3.2, 3.3, 3.5, 3.6 등).
2. CaDRe 모델 제안: parallel flow-based prior와 gradient 기반 structural penalty를 latent transition 및 decoder에 도입하여 identifiability를 보장하는 시계열 생성 모델을 설계.
3. synthetic 실험을 통한 이론 검증: 잠재 표현 학습 및 causal discovery의 식별 가능성을 정량적으로 검증.
4. 실제 기후 데이터 적용: 경쟁력 있는 예측 정확도를 달성하면서, 도메인 전문지식과 부합하는 시각화된 causal graph를 복원하여 해석 가능한 통찰을 제공.

How

Figure 3. The estimation procedure of CaDRe. The model frame-

• 관측 변수 xt와 잠재 변수 zt에 대한 Structural Equation Model(SEM)을 정의하고, xt,i가 다른 관측 변수와 잠재 변수의 영향을 동시에 받도록 설계.
• 첫 시점의 세 개 연속 관측치 {xt-1, xt, xt+1}를 문맥 정보로 사용하여 operator L을 통한 분포 수준 변환으로 latent space recovery 이론 전개(Theorem 3.2).
• sparsity 조건 하에서 latent causal process 식별(Theorem A.2, Appendix).
• SEM과 latent variable을 포함한 nonlinear ICA 간의 functional equivalence 확립(Theorem 3.3, 3.5).
• cross-derivative condition(Lin, 1997)을 활용해 internal temporal shift와 DAG 제약을 결합한 identifiable nonlinear ICA 관점에서 관측 변수 간 causal graph를 식별(Theorem 3.6).
• 이론을 구현하기 위해 state-space VAE 구조의 CaDRe를 설계: parallel flow-based prior로 independent component를 학습하고, latent transition과 decoder에 gradient 기반 structural penalty(Jacobian 기반 sparsity 제약)를 부과.

Originality

• 기존 CRL이 다루지 않던 관측 변수 간(observable-to-observable) causal relation과 잠재 동적 프로세스를 하나의 통합된 이론적 프레임워크로 동시에 다룸.
• noise-free/invertible 가정 없이 nonparametric 설정에서 identifiability 보장을 확립한 점이 기존 nonlinear ICA 기반 CRL 연구 대비 진전됨.
• SEM과 latent-variable nonlinear ICA 간의 functional equivalence를 도출하여 두 분야(CD와 CRL)를 이론적으로 연결하는 독창적 접근.
• 이론적 identifiability 결과를 실제로 구현 가능한 구조적 제약 기반 생성 모델(CaDRe)로 구체화하여 실증적으로 검증.

Limitation & Further Study

• 본문 발췌에서는 first-order Markov 구조를 기본으로 가정하며, 고차 Markov 구조로의 일반화는 부록에서 다루는 것으로 언급되어 있어 실제 복잡한 기후 동역학(장기 의존성)에 대한 적용 가능성 검증이 제한적일 수 있음.
• Assumption 2.1(Markov성 및 faithfulness to DAG)과 여러 이론적 조건(예: cross-derivative condition, sparsity)이 실제 기후 데이터에서 어느 정도 성립하는지에 대한 실증적 검증이 충분히 제시되지 않을 가능성이 있음.
• 후속 연구로는 비정상성(non-stationarity)이 강한 기후 시스템이나 더 높은 차원의 다중 시간 스케일 상호작용에 대한 확장, 그리고 실제 정책적/과학적 의사결정에 활용하기 위한 causal graph의 정량적 검증 방법론 개발이 필요해 보임.

Evaluation

총평: 잠재 요인과 관측 변수 간 인과관계를 동시에 다루는 이론적 공백을 명확히 짚고 이를 nonparametric 식별 가능성 이론과 실용적 생성 모델로 연결한 견고한 연구로, 기후 분석을 넘어 CRL과 CD를 통합하는 방법론적 기여가 크다.