WeatherSyn: An Instruction Tuning MLLM For Weather Forecasting Report Generation

Motivation

• Known: 기존에는 물리 기반 NWP 모델과 기상 전문가의 수작업 분석을 통해 예보 리포트가 작성되었으며, 최근 MLLM을 활용한 기상 캡셔닝 연구(WeatherQA, OmniEarth-Bench, Omni-Weather 등)가 등장했으나 극한 기상 이벤트나 특정 데이터 형식에 국한되어 있었다.
• Gap: 일반적인 Weather Forecasting Report(WFR) 생성 문제를 다루기 위한 시각-텍스트 쌍 데이터셋이 부족하고, 현재 MLLM들은 다변량 기상 이미지에 대한 도메인 특화 추론 능력이 제한적이라는 두 가지 근본적 한계가 존재한다.
• Why: 정확하고 일관된 기상 예보 리포트 자동 생성은 정보 과부하를 줄이고 일상 활동, 농업, 교통 등 다양한 분야의 의사결정을 지원할 수 있어 실용적 가치가 크며, MLLM을 기상 도메인에 특화시키는 새로운 연구 방향을 제시한다.
• Approach: ERA5 재분석 데이터로부터 생성한 도시별 변수 히트맵과 전문가 작성 리포트를 짝지은 WSInstruct 데이터셋을 구축하고, aspect-controlled prompting을 도입하여 개방형 리포트의 aspect 불균형과 비일관성 문제를 해결한 뒤, Qwen3-VL-8B 모델을 SFT, Rejection Sampling Fine-Tuning(RFT), DPO의 3단계로 학습시켜 WeatherSyn을 만들었다.

Achievement

Figure 3. Weighted F1 scores of generated weather reports across different forecast days (Day 1–Day 4) for three weather

1. WSInstruct 데이터셋 구축: 미국 31개 도시, 8개 weather aspect, 18개 claim 카테고리를 포괄하는 최초의 WFR instruction-tuning 데이터셋을 구축했다.
2. WeatherSyn 모델 개발: SFT→RFT→DPO 3단계 파이프라인을 통해 Claude-3.7-Sonnet, GPT-5-Nano, WeatherQA 등 leading closed-source 및 특화 모델을 다수 지표에서 능가하는 최초의 오픈소스 기상 리포트 생성 전용 MLLM을 개발했다.
3. 강한 zero-shot 전이성 입증: 일부 도시로만 학습한 모델이 미학습 도시에 대해 zero-shot으로 생성한 리포트가 closed-source 모델의 few-shot 성능을 능가함을 보였다.
4. 다각도 분석 제공: 학습 데이터 규모, 지역, weather aspect, 예보 시간 스텝 등 다양한 요인에 대한 성능 분석을 통해 모델 최적화에 대한 실용적 통찰을 제공했다.

How

Figure 2. Construction of the WSInstruct weather forecast report dataset and the three-stage training strategy

• ERA5 데이터셋에서 12개 기상 변수(2m temperature, 10m u/v wind, sea level pressure, surface pressure, total cloud cover 등)를 도시별 히트맵 이미지로 변환하여 시각 입력 구성
• 전문가 작성 리포트를 Temporal Report Segmentation으로 일자별 예보로 분할하고, Human-Verified Aspect and Claim Extraction을 통해 8개 aspect·18개 claim 카테고리로 라벨링, 무작위 샘플에 대한 Consistency Check 수행
• Aspect-controlled Prompting으로 날짜별로 어떤 weather aspect에 집중할지 명시한 프롬프트를 구성하여 open-ended 생성의 불균형·비일관성 문제 완화
• Stage1 SFT: Qwen3-VL-8B를 WSInstruct로 지도 미세조정
• Stage2 RFT(Rejection Sampling Fine-Tuning): SFT 모델로 N회 추론하여 Claim Extraction F1 Score 기준으로 정답과 일치하면서 어휘 다양성이 높은 샘플을 필터링·결합해 증강 데이터셋 구성 후 재학습
• Stage3 DPO: RFT 모델의 추론 결과 중 선호/비선호 쌍을 구성해 Direct Preference Optimization으로 스타일과 사실 충실도 정제

Originality

• 기상 예보 리포트 생성을 하나의 독립적 task(WFR)로 새롭게 정식화하고 문제 정의를 수식화함
• 시각-텍스트 쌍을 갖춘 최초의 대규모 instruction-tuning 데이터셋(WSInstruct)을 구축하고 aspect-controlled prompting이라는 novel한 제어 기법을 도입함
• SFT-RFT(rejection sampling)-DPO로 이어지는 3단계 파이프라인을 기상 리포트 생성이라는 도메인에 최초로 적용함

Limitation & Further Study

• 데이터셋이 미국 31개 도시에 국한되어 있어 다른 대륙·기후대에 대한 일반화 가능성이 검증되지 않음
• ERA5 재분석 데이터 기반 히트맵만을 시각 입력으로 사용하여 위성 영상, 레이더 등 다른 관측 소스와의 결합 효과는 다루지 않음
• Rejection Sampling과 DPO에 사용된 F1 기반 claim 일치도 평가가 실제 기상학적 정확성을 완전히 포착하는지에 대한 심층 검증이 부족함
• 극한 기상 이벤트(태풍, 폭염 등)에 대한 별도의 심층 평가가 제한적으로 보임

Evaluation

총평: 기상 예보 리포트 생성이라는 실용적이면서도 미개척된 문제를 새로운 task와 데이터셋, 전용 모델로 체계적으로 다룬 견고한 연구로, 지역 확장성 검증이 추가된다면 임팩트가 더욱 클 것이다.