FuXi: A cascade machine learning forecasting system for 15-day global weather forecast

Motivation

• Known: 최근 ML 모델들은 10일 예측에서 ECMWF HRES를 능가하고 있으나, 15일 장기 예측에서는 ECMWF 앙상블 평균과 비교할 만한 성능을 달성하지 못하고 있다. 단일 모델은 단기 및 장기 예측 모두에서 최적 성능을 제공하기에 불충분하다.
• Gap: 누적 오차를 완화하기 위한 노력에도 불구하고, 단기(0-5일)와 장기(10-15일) 예측에 모두 최적화된 단일 모델을 개발하는 것이 어려우며, 15일 예측에서 ECMWF 앙상블 평균 수준의 성능을 달성한 ML 시스템이 없다.
• Why: 정확한 장기 날씨 예측은 방재, 농업, 에너지 관리 등 사회의 여러 분야에서 중요하며, ML 기반 예측 시스템이 빠른 계산 속도와 고해상도를 제공할 수 있어 실무 적용 가치가 높다.
• Approach: FuXi는 0-5일, 5-10일, 10-15일의 세 시간 구간에 각각 최적화된 cascade 구조의 여러 autoregressive 모델을 사용하며, 39년 ECMWF ERA5 재분석 데이터로 학습하여 누적 오차를 감소시킨다.

Achievement

Fig. 2: Comparison of the globally-averaged latitude-weighted ACC (first and

• 15일 예측 동등성 달성: FuXi는 15일 예측에서 latitude-weighted RMSE와 ACC 기준으로 ECMWF 앙상블 평균과 비교 가능한 성능을 달성한 첫 ML 기반 시스템이다.
• 예측 리드타임 연장: Z500에서 ECMWF HRES의 9.25일 대비 10.5일로, T2M에서 10일 대비 14.5일로 skillful forecast lead time을 연장했다.
• 앙상블 불확실성 정량화: 초기조건과 모델 파라미터 perturbation을 통해 FuXi 앙상블을 구성하여 ECMWF 앙상블과 비교할 만한 forecast uncertainty를 제공한다.
• 고해상도 글로벌 예측: 0.25° 공간해상도와 6시간 시간해상도로 15일 글로벌 예측을 제공한다.

How

Fig. 1: Overall architecture of FuXi model. a) The FuXi model consists of three

• Cascade 아키텍처: 세 개의 독립적인 autoregressive 모델을 순차적으로 연결하여 각 시간 구간에 특화된 최적화를 수행
• 다중 시간 스텝 손실함수: 누적 오차를 감소시키기 위해 여러 반복 시간 스텝에 걸친 오차를 최소화하는 학습 전략 적용
• 사전학습과 미세조정: 모델 안정성과 정확도를 향상시키기 위해 두 단계 학습 프로세스 사용
• ERA5 재분석 데이터: 39년(1984-2022)의 ECMWF ERA5 6시간 재분석 데이터로 전 지구 규모 학습
• Transformer 기반 아키텍처: Vision Transformer 또는 Swin Transformer와 유사한 구조로 고차원 기상 데이터의 복잡한 특성 추출
• Ensemble 구성: 초기조건 perturbation과 모델 파라미터 perturbation을 통해 51개 멤버의 앙상블 생성

Originality

• Cascade 시스템 아키텍처: 단일 모델이 모든 리드타임에 최적화되지 못한다는 문제를 cascade 구조로 해결한 novel 접근법
• 장기 예측 목표 달성: 기존 ML 시스템이 10일을 넘기지 못한 가운데 ECMWF 앙상블과 동등한 15일 예측 성능 달성
• 앙상블 불확실성 정량화: ML 기반 시스템에서 물리 기반 NWP 모델과 유사한 앙상블 확률 예측 제공
• 3-stage 모델 최적화: 각 시간 구간별로 독립적으로 최적화된 모델 체인으로 누적 오차 문제에 대한 실질적 해결책 제시

Limitation & Further Study

• 단일 모델의 한계 극복: Cascade 구조는 3개 모델을 순차 실행해야 하므로 추론 시간이 증가할 수 있으며, 단일 end-to-end 모델 대비 복잡도 증가
• 계산 비용과 해상도 트레이드오프: 0.25° 고해상도 유지를 위해 상당한 계산 자원이 필요하며, 더 높은 해상도로의 확장은 어려움
• 특정 변수와 지역의 성능 편차: 강수(TP)와 같은 특정 변수나 열대 지역에서는 예측 정확도가 낮을 수 있음
• 후속 연구 방향: (1) 단일 통합 모델로 cascade 없이 장기 예측을 수행하는 기법 개발, (2) 극한 날씨 이벤트에 대한 특화된 학습, (3) 물리적 제약을 embedding하여 물리 타당성 향상

Evaluation

총평: FuXi는 cascade 구조라는 실용적이고 창의적인 아이디어로 누적 오차 문제를 해결하여 15일 글로벌 예측에서 ECMWF 앙상블과 동등한 성능을 달성한 획기적인 결과이다. 기계학습 기반 날씨 예측 분야에서 장기 예측의 새로운 이정표를 제시하는 중요한 연구이다.