Multi-Scale Wavelet Transformers for Operator Learning of Dynamical Systems

Motivation

• Known: neural operator(FNO, DeepONet 등)는 PDE 기반 동역학계의 데이터 기반 대리모델로서 수치 해석기 대비 수 자릿수 빠른 추론을 제공하지만, 신경망이 저주파 성분을 고주파보다 빠르고 안정적으로 학습하는 spectral bias(oversmoothing) 문제를 겪는다. 이를 완화하기 위해 multi-scale architecture, frequency-aware representation(wavelet 등), objective/rollout regularization 등의 접근이 시도되어 왔다.
• Gap: 기존 multi-scale architecture는 다운샘플링이 과격할 경우 고주파 정보 보존을 보장하지 못하고, wavelet 기반 방법은 선형/합성곱 혼합에 의존해 비선형 cross-scale 상호작용 표현력이 제한되며, 최근 transformer-wavelet 하이브리드(Zhou et al., 2026)는 attention을 전체 해상도 물리 그리드에 직접 적용해 고해상도에서 계산 비용이 매우 크다는 한계가 있다.
• Why: 특히 기상·기후 예측과 같이 장기 자기회귀(rollout) 예측이 필요한 응용에서는 고주파 오류가 누적되어 장기 불안정성과 기후학적 편향(climatological bias)을 초래하므로, 표현력과 계산 효율을 동시에 만족하는 spectral bias 완화 기법이 실질적으로 중요하다.
• Approach: 저자들은 표준 relative ℓ2(MSE형) 학습 목적함수를 그대로 사용하면서, 아키텍처와 inductive bias 자체의 역할을 분리해서 검증하기 위해 tokenized wavelet 도메인에서 동작하는 attention 기반 신경망 구조(MSWT)를 설계했다.

Achievement

Figure 4. Ensemble-mean annual climatology bias of LUCIE and

1. Wavelet attention을 통한 spectral bias 완화: multiband wavelet 콘텐츠를 스케일에 걸쳐 모델링하는 wavelet 기반 transformer 구조를 도입해 스펙트럼 충실도를 개선했다.
2. 효율성 및 장기 안정성 향상: tokenization과 wavelet 기반 down/up-sampling, 효율적 wavelet attention을 결합해 attention 연산 비용을 크게 줄이면서도 카오스 동역학계의 장기 rollout에서 안정성과 정확도를 개선했다.
3. ERA5 기후학 지표를 통한 장기 검증: ERA5 전지구 기후 재분석 데이터에 대해 free-running 예측 실험을 수행하여 기후학적 편향(climatological bias) 감소를 입증하고 실제 응용에서의 장기 물리적 일관성 향상을 보였다.

How

Figure 1. Overview framework of Multi-Scale Wavelet Transformer (MSWT). Figure 1(a) presents the U-shaped topology. Inpu

• 패치 토크나이저(lightweight patch tokenizer): 물리적 필드를 토큰으로 매핑하는 경량 토크나이저 구성
• wavelet-preserving down/up-sampling: 토큰 공간에서 다중 스케일 wavelet 다운/업샘플링을 수행하여 각 스케일에서 저주파 및 고주파 서브밴드를 명시적으로 보존
• wavelet 기반 attention: wavelet 서브밴드와 스케일 간 의존성을 모델링하는 attention 메커니즘 도입, 축소된 해상도(토큰) 공간에서 attention을 수행해 계산 비용 절감
• 카오스 동역학계(예: Kolmogorov flow, CKF, SWE) 및 ERA5 기후 재분석 데이터에 대해 실험을 수행하고, enstrophy power spectrum, 장기 rollout 오차, 기후학적 편향(climatology bias) 등의 지표로 평가

Originality

• 기존 wavelet neural operator가 선형/합성곱 혼합에 그친 것과 달리, tokenized wavelet 표현에 직접 attention을 적용하여 비선형 cross-scale 상호작용을 모델링
• 최근 transformer-wavelet 하이브리드(Zhou et al., 2026)가 전체 해상도 물리 그리드에서 attention을 수행해 고해상도에서 비용이 큰 반면, MSWT는 wavelet-preserving downsampling으로 축소된 도메인에서 attention을 수행하면서도 고주파 정보를 유지하는 구조를 제안
• 아키텍처와 inductive bias의 역할을 표준 MSE형 손실함수 하에서 격리하여 검증하는 실험 설계
• ERA5와 같은 실세계 기후 재분석 데이터에 대해 climatology 지표 기반의 장기(long-horizon) 평가를 수행하여 실용적 유효성을 입증

Limitation & Further Study

• 논문 발췌에는 wavelet 변환의 구체적 종류(예: 이산 wavelet 계열, 분해 레벨 수)와 구면 도메인에서의 경계 처리 세부사항이 충분히 설명되지 않아 재현성 검증이 어려울 수 있음
• ERA5 실험이 multi-decadal autoregressive rollout의 근본적 어려움(문장이 잘려 명확히 드러나지 않음)을 완전히 해결했는지에 대한 심층 분석이 부족해 보임
• attention 비용 절감이 보고되었으나 정량적 계산 비용(FLOPs, 메모리) 비교나 다양한 해상도에서의 스케일링 분석이 제한적일 수 있음
• 다양한 wavelet basis 선택이나 하이퍼파라미터(스케일 수, 패치 크기)에 대한 민감도 분석이 후속 연구로 필요함

Evaluation

총평: wavelet 도메인에서의 tokenization과 attention을 결합해 spectral bias와 계산 효율 문제를 동시에 다룬 견고한 아키텍처 제안이며, 카오스 시스템과 실제 기후 재분석 데이터 모두에서 의미 있는 성능 향상을 보여 실용적 가치가 높은 연구이다.