Learning to Emulate Chaos: Adversarial Optimal Transport Regularization

Motivation

Known: 카오스 시스템은 초기 조건에 민감하여 정확한 장기 예측이 불가능하며, 기존 MSE 손실은 카오스 동역학 학습에 부적합하다. 최근 연구들은 수작업으로 만든 특성이나 학습된 통계량을 사용해 attractor 통계를 매칭하는 정규화 접근법을 제안했다.
Gap: 기존 handcrafted summary statistics는 고차원 attractor를 제약하기에 정보량이 부족할 수 있고, contrastive learning 기반 방법들은 다양한 환경의 궤적 데이터셋이 필요하다. 단일 노이지 궤적만으로 자동으로 정보량이 많은 통계량을 학습하는 방법이 부재하다.
Why: 날씨 예측, 유체역학, 전력망 등 많은 실제 응용에서 카오스 동역학 모델링이 중요하며, 데이터 기반 에뮬레이터의 장기 통계 정확도를 향상시키는 것이 기후 모델링과 같은 사회적 과제 해결에 필수적이다.
Approach: adversarial optimal transport 목표함수를 통해 summary map f(u)와 에뮬레이터 g(u)를 동시에 학습한다. 에뮬레이터는 MSE 손실과 최적 수송 비용을 최소화하고, summary map은 같은 최적 수송 비용을 최대화하도록 훈련된다.

Figure 2. KS full roll-out evaluation (clean data). Our WGAN-

Adversarial optimal transport 정규화: MSE 손실을 정규화하는 p-Wasserstein 기반 목표함수 계열을 제안하며, 1-Wasserstein (WGAN 스타일)과 Sinkhorn divergence (2-Wasserstein) 두 가지 계산 가능한 완화 공식을 제공한다.
이론적 분석: Lipschitz 제약이 있는 summary map에 대해 제안된 목표함수가 에뮬레이터 MSE와 참 attractor까지의 Wasserstein 거리로 상한이 정해짐을 증명하고, 노이즈에 대한 robust성을 분석한다.
실험적 검증: Lorenz-96, Kuramoto-Sivashinsky, Kolmogorov flow 등 고차원 카오스 attractor를 포함한 다양한 시스템에서 단일 노이지 궤적만으로 학습하여 기존 MSE 학습과 handcrafted 특성 기반 방법을 능가한다.

Figure 3. L63 emulator geometry at increasing noise level σ.

한 단계 동역학 예측자 g: U → U (에뮬레이터)와 summary 맵 f: U → ℝ^d를 정의한다.
에뮬레이터가 생성한 궤적의 summary 통계 분포와 관찰 데이터의 분포를 최적 수송으로 매칭하는 목표함수를 구성한다.
MSE 손실 L_MSE와 Sinkhorn divergence S_c^ε 또는 WGAN dual formulation (1-Wasserstein)을 결합한 복합 손실으로 훈련한다.
Sinkhorn 알고리즘으로 엔트로피 정규화된 최적 수송 문제를 효율적으로 계산한다.
에뮬레이터와 summary map을 alternating 최적화로 동시에 학습하며, summary map의 Lipschitz 제약을 gradient penalty로 근사 시행한다.
학습된 에뮬레이터의 k-step rollout g^∘k로부터 생성된 궤적의 장기 통계 지표(확률 밀도함수, autocorrelation, 불변 측도 등)를 평가한다.