ChaosNexus: A Foundation Model for ODE-based Chaotic System Forecasting with Hierarchical Multi-scale Awareness

Motivation

• Known: 대규모 synthetic ODE 시스템 코퍼스에 pretraining된 foundation model(예: Panda, DynaMix)이 unseen 카오스 시스템에 대해 zero-shot/few-shot 예측을 수행할 수 있음이 알려져 있으며, patch 기반 transformer나 CNN 인코더 기반 mixture of RNN 전문가 구조가 이러한 목적에 사용되어 왔다.
• Gap: 기존 아키텍처들은 chaotic dynamics가 일반 시계열보다 훨씬 높은 spectral entropy를 가지며 연속적인 스케일에 걸쳐 정보가 분산된다는 점, 그리고 서로 다른 시스템(Lorenz-63 vs Lorenz-96 등)이 매우 다른 power spectrum을 가진다는 점을 간과하여, 고정된 patch size나 local receptive field를 가진 CNN 인코더로는 global spectral signature와 다중 스케일 구조를 동시에 포착하지 못한다.
• Why: 카오스 시스템은 초기 조건에 극히 민감해 장기 point-wise 예측이 불가능하지만 strange attractor의 통계적 성질은 보존되므로, 단기 정확도와 장기 attractor 통계를 동시에 잘 포착하는 범용 foundation model은 날씨 예측 등 실세계 응용에서 데이터가 희소한 신규 시스템에도 강건하게 일반화할 수 있어 실질적 가치가 크다.
• Approach: U-Net에서 영감을 받은 ScaleFormer 아키텍처로 계층적으로 다양한 patch size를 통해 시간적 컨텍스트를 처리하고, 각 ScaleFormer block에 Mixture-of-Experts(MoE)를 통합하며 wavelet scattering transform으로 유도한 frequency fingerprint를 조건으로 최종 예측을 생성한다.

Achievement

Figure 3. Zero-shot forecasting performances of models on synthetic chaotic systems. Each box shows the median (center l

1. State-of-the-art zero-shot 성능: 9,000개 이상의 synthetic 카오스 시스템에서 장기 attractor 통계 충실도와 point-wise 정확도 모두에서 우수한 성능을 달성.
2. 실세계 검증: 5일 station 기반 날씨 예측에서 zero-shot 평균 오차 1°C 미만을 달성하여, 47만개 이상 샘플로 fine-tuning된 경쟁 baseline보다 우수한 성능을 보임.
3. 아키텍처 효용성 입증: 스펙트럼 특성이 다른 Lorenz96 계열 시스템 및 스케일링 실험을 통해 ScaleFormer, MoE, frequency fingerprint 설계의 효과를 정성적/정량적으로 검증.

How

Figure 2. Overview of our ChaosNexus framework, with details of patch merging and expansion operations, and the Transfor

• 입력 궤적 X를 겹치지 않는 시간 patch로 분할하는 input dynamics embedding 단계로 노이즈에 강건한 표현 확보
• ScaleFormer backbone: encoder에서 patch merging을 통해 점진적으로 coarse-grained global attractor를 포착하고, decoder에서 patch expansion으로 fine-grained 세부사항을 복원하는 U-Net 스타일 계층 구조
• 각 ScaleFormer block에 MoE layer를 삽입해 시스템 간 이질성에 대응하고 특화된 파라미터를 다른 dynamical regime에 할당
• wavelet scattering transform으로부터 frequency fingerprint를 계산하여 모델이 시스템 고유의 에너지 분포에 맞춰 multi-scale representation의 융합을 적응적으로 조절하도록 조건화 (frequency-enhanced joint scale readout)
• 단기 예측 정확도와 장기 통계적 특성 보존을 동시에 강제하는 composite objective로 학습
• Panda가 소개한 약 20,000개의 synthetic ODE 시스템 코퍼스로 pretraining

Originality

• 카오스 시스템의 spectral entropy가 일반 시계열보다 유의하게 높고 정보가 연속적 스케일에 분산된다는 관찰을 최초로 동기부여 근거로 제시
• 고정 patch size의 정보 병목 문제를 U-Net 스타일 계층적 patch merging/expansion(ScaleFormer)으로 해결한 구조적 참신성
• 단순 CNN 인코더의 local receptive field 한계를 wavelet scattering transform 기반 frequency fingerprint 조건화로 극복하여 global spectral signature를 명시적으로 모델에 주입한 점
• MoE와 frequency fingerprint를 결합해 시스템 간 이질성(heterogeneity)을 다루는 설계가 기존 Panda, DynaMix와 차별화됨

Limitation & Further Study

• 본문 발췌에는 ODE 기반 시스템에 국한된 평가가 소개되어 있어, PDE 기반이나 실제 관측 노이즈가 훨씬 심한 다변량 시스템으로의 일반화 가능성에 대한 추가 검증이 필요
• wavelet scattering transform 기반 frequency fingerprint 계산의 계산 비용 및 다양한 시스템 규모(변수 수, 샘플링 레이트)에 대한 강건성에 대한 상세 분석이 제한적으로 보임
• MoE 도입에 따른 모델 파라미터 수 증가와 추론 효율성 트레이드오프에 대한 구체적 논의가 부족해 실용적 배포 시 자원 제약 환경에서의 적용성 검토가 필요
• 후속 연구로 PDE 기반 시공간 카오스 시스템이나 노이즈가 심한 실제 다변량 센서 데이터로의 확장이 요구됨

Evaluation

총평: 카오스 시스템의 다중 스케일 및 스펙트럼 특성이라는 근본적이지만 간과되어 온 문제를 명확한 동기와 함께 체계적으로 해결한 견실한 연구로, 대규모 실험과 실세계 응용을 통해 실질적 성능 향상을 입증했다는 점에서 완성도가 높다.