Scaling Laws of Global Weather Models

Motivation

• Known: LLM 및 vision 도메인에서는 Kaplan et al., Hoffmann et al. 등이 제시한 empirical power-law 형태의 scaling law(L(D)=αD^-β, L(N)=γN^-δ, L(C)=λC^-ϵ)가 잘 정립되어 있고, compute-optimal training 전략에 널리 활용되고 있다.
• Gap: 하지만 대기 시스템의 chaotic한 특성, 수백 개의 물리적으로 상이한 상관 변수 예측, 모델별 아키텍처 차이(Swin Transformer, GNN, Fourier neural operator 등)로 인해 기존 NLP/vision 도메인의 scaling law가 weather forecasting 모델에도 동일하게 적용되는지에 대한 체계적 검증이 없었다.
• Why: 고해상도 재분석 데이터와 대규모 학습 인프라의 발전으로 weather model이 급격히 커지고 있는 상황에서, 어떤 자원(모델 크기 vs 데이터 크기 vs 모델 형태)에 우선 투자해야 예측 성능을 극대화할 수 있는지에 대한 실증적 가이드라인은 향후 기상 모델 개발의 효율성과 방향성을 결정짓는 중요한 문제이다.
• Approach: ERA5 데이터(WeatherBench 2 제공)를 이용해 GraphCast, AIFS, Aurora, Pangu, SFNO 등 5개 대표 모델을 동일한 실험 조건 하에서 N, D, C, model shape(width/depth)를 체계적으로 변화시키며 재학습하고, validation loss 및 variable-specific loss를 기준으로 scaling 계수를 log-log 회귀로 추정한다.

Achievement

Figure 2. Data-scaling laws across weather forecasting models:

1. Cross-model scaling 분석 최초 제시: GraphCast, AIFS, Aurora, Pangu, SFNO에 대해 forecast skill과 N, D 관계를 규명하는 최초의 교차 모델 분석을 수행했다.
2. Aurora의 뛰어난 data-scaling 효율: 학습 데이터를 10배 늘리면 validation loss가 최대 3.2배 감소하는 가장 강한 data-scaling 거동을 보였다(β=0.51).
3. GraphCast의 뛰어난 parameter 효율성: GraphCast는 최소 파라미터(36.7M)로도 가장 높은 parameter efficiency를 보였으나, hardware utilization이 제한적이라는 trade-off를 확인했다.
4. Compute-optimal 자원 배분 지침: 고정된 compute budget 하에서는 모델 크기 확장보다 총 학습 데이터 증가가 더 큰 성능 향상을 가져온다는 것을 실증했다.
5. Width 선호의 근본적 차이 발견: LLM에서 관측된 것과 달리 weather forecasting 모델은 depth보다 width 확장을 일관되게 선호한다는 새로운 scaling 양상을 밝혔다.
6. 변수별 scaling 이질성 규명: 전체 validation loss만으로는 모델 성능을 정확히 대변할 수 없으며, 변수(온도, 습도 등)별로 scaling 거동이 상이함을 확인했다.

How

Figure 3. Parameter-scaling laws for different weather prediction

• ERA5(WeatherBench 2) 데이터를 6시간 간격 00/06/12/18 UTC 시점 기준 6시간 예측 태스크로 통일
• 공통 입력·타겟 변수(geopotential, temperature, u/v wind, specific humidity 등), 0.25°×0.25° 해상도, 동일 learning rate schedule 등으로 모델 간 비교 가능성 확보
• Transformer 계열은 width(embedding dimension)와 depth(block 수), GNN은 width(model dimension)와 depth(message-passing step 수), SFNO는 width와 Fourier neural-operator block 수로 model shape를 정의
• GraphCast의 경우 N=(24+8d)w+(18+7d)w²와 같은 구조적 파라미터 카운트 공식을 활용해 동일 N 대비 width/depth 조합 비교
• 각 모델에 대해 D, N, C를 체계적으로 변화시키며 재학습하고 validation loss에 대한 log-log 회귀로 β, δ, ϵ 등 scaling 계수를 추정, variable-specific loss도 함께 분석

Originality

• 기존 scaling law 연구가 주로 LLM/vision 도메인에 집중된 반면, 본 논문은 weather forecasting 도메인에서 5개의 이질적 아키텍처(Swin Transformer, Graph Transformer, GNN, Fourier neural operator)를 아우르는 최초의 cross-model scaling 분석을 수행
• 단일 scalar validation loss뿐 아니라 variable-specific loss를 통해 다변량 물리 시스템에서의 scaling 이질성을 규명한 점이 참신함
• LLM과 다른 방향(width>depth)의 model shape scaling 결과를 실증적으로 발견하여 기존 scaling law 통념에 반례를 제시

Limitation & Further Study

• 각 모델의 학습 조건(learning rate schedule, 데이터 전처리 등)을 표준화했음에도 원 논문의 최적 hyperparameter와 차이가 있을 수 있어, 관측된 scaling 계수가 각 모델의 진정한 최대 성능을 반영하지 못할 가능성 존재
• 6시간 단일 스텝 예측에 국한되어 있어 다중 스텝 rollout이나 장기 예보에서의 scaling 거동은 다루지 않음
• ECMWF ai-models repository의 일부 모델(4개 중 3개)만 다루어 최신 대형 모델(예: 초대형 foundation model)에 대한 일반화 가능성은 검증되지 않음
• 후속 연구로는 다중 lead-time, 앙상블 예측, 그리고 실제 물리적 스킬 지표(예: RMSE, ACC)와의 scaling law 관계를 추가로 검증할 필요가 있음

Evaluation

총평: 기상 예측 분야에서 scaling law를 체계적으로 규명한 최초의 실증 연구로서, LLM과 다른 width 선호 경향 등 실용적으로 중요한 통찰을 제공하는 의미 있는 기여를 담고 있다.