LangPrecip: Language-Aware Multimodal Precipitation Nowcasting

Motivation

• Known: 기존 강수 예측 기법은 ConvLSTM, Transformer 기반 결정론적 모델과 GAN·diffusion model 기반 확률적 생성 모델로 발전해왔으며, latent space 기반 생성 모델(예: Rectified Flow)이 불확실성 표현과 다양한 예측 생성에 진전을 이루었다.
• Gap: 기존 vision-only 방법은 제한된 과거 관측(4-8 프레임)만으로는 물리적으로 일관된 유일한 이동 궤적을 결정할 수 없어 motion ambiguity가 발생하며, 명시적인 모션 의미 제약이 없어 시각적으로는 그럴듯하나 물리적으로 비일관적인 예측을 생성한다. 또한 latent 기반 생성 모델의 latent-to-pixel 복원 과정은 심각하게 ill-posed되어 있어 블러와 시간적 비일관성을 유발한다.
• Why: 극한 강수 현상에 대한 정확한 단기 예측은 재해 예방 및 조기 경보 시스템의 핵심 요소이며, 언어 기반 의미적 가이던스가 시각 정보만으로 해결할 수 없는 모션 모호성을 해소할 수 있다면 CSI, FSS 등 강도 민감 지표에서 실질적 개선을 이끌어낼 수 있다.
• Approach: 자연어 모션 설명을 명시적 조건으로 사용하여 Rectified Flow 기반 궤적 생성 문제로 nowcasting을 재정의하고, latent-to-pixel 복원 단계에서 물리적 데이터 충실도를 강제하는 dual-path wavelet consistency unfolding decoder를 결합한다.

Achievement

Spatial precipitation forecasts at multiple lead times (5–80 minutes) for different models with corresponding skill scores (CSI at

1. LangPrecip 프레임워크 제안: 언어 인지 멀티모달 강수 예측 프레임워크로, Rectified Flow 하에서 동적으로 조건화된 생성 문제로 nowcasting을 재정의하여 극한 강수 예측 정확도를 개선.
2. Wavelet Consistency Unfolding Decoder(WCUD) 설계: 학습된 upsampling과 wavelet consistency unfolding(unfolded proximal operator 기반 반복 최적화)을 결합하여 표준 VAE decoder 대비 복원 선명도와 시간적 일관성을 크게 향상.
3. LangPrecip-160K 데이터셋 구축: 160K개의 주석된 radar-text 페어 시퀀스로 구성된 최초의 radar-language 데이터셋을 공개하여 향후 연구를 위한 벤치마크 제공.
4. 정량적 성능 향상: Swedish 및 MRMS 벤치마크에서 80분 리드타임 기준 heavy-rainfall CSI가 vision-only SOTA 대비 각각 60% 이상, 19% 이상 상대적 향상을 달성.

How

LangPrecip architecture diagram

• LangPrecip-160K 데이터셋: Swedish radar 데이터 100K, MRMS 60K 이벤트를 통일된 sliding-window 전략으로 추출, 각 이벤트는 100분(20프레임, 5분 간격)이며 처음 4프레임으로 이후 16프레임을 예측
• 모션 설명 주석: Qwen-VL을 활용해 기상학 특화 프롬프트로 자연어 모션 설명(이동 방향, 성장/소멸 패턴, 구조적 변화 등)을 생성하여 radar 시퀀스와 페어링
• 아키텍처: T5 XXL Encoder로 텍스트 임베딩 추출 후 adaLN, spacetime self-attention을 통해 Key-Value pairing 방식으로 semantic constraint를 latent radar dynamics 학습에 주입
• Rectified Flow 프레임워크 하에서 텍스트 조건부 생성 문제로 nowcasting 재정의, denoise 과정을 통해 latent Z 예측
• WCUD: Data Consistency(DC)와 Wavelet Prior(WP)를 결합한 unrolled iteration 구조로 latent-to-pixel 복원 시 관측 충실도와 다중 스케일 sparsity를 명시적으로 강제
• Swedish, MRMS 벤치마크에서 CSI, FSS 등 지표로 vision-only SOTA와 비교 평가

Originality

• 강수 예측 분야에서 자연어 모션 설명을 명시적 의미 제약으로 도입한 최초의 language-guided nowcasting 프레임워크
• 기상학적 radar-text 페어 데이터셋(LangPrecip-160K)을 최초로 구축하여 언어가 픽셀 관측을 넘어서는 모션 수준 의미를 인코딩할 수 있음을 입증
• Rectified Flow 기반 궤적 생성과 wavelet 기반 unfolded proximal optimization을 결합한 dual-path decoder 설계로 latent 복원의 ill-posed 문제를 물리적 제약(관측 충실도, 다중 스케일 sparsity)으로 해결하는 새로운 접근

Limitation & Further Study

• 모션 설명이 Qwen-VL과 같은 vision-language model에 의해 자동 생성되므로, 주석의 정확성과 기상학적 타당성에 대한 인적 검증이 제한적일 수 있음
• 자연어 설명이 정성적(qualitative) 수준에 머물러 정밀한 수치적 모션 정보(예: 정확한 이동 속도 벡터)를 제공하지 못할 가능성
• Swedish, MRMS 두 지역 데이터셋에 한정되어 있어 다양한 기후대 및 극한 기상 조건에 대한 일반화 성능 검증이 추가로 필요
• 추론 시에도 자연어 설명이 필요한지, 혹은 예측 시점에서 텍스트 없이도 동작 가능한지에 대한 실용성 논의가 부족해 보이며, 향후 실시간 운용 환경에서의 텍스트 생성 파이프라인 통합 연구가 필요

Evaluation

총평: 언어 기반 의미 제약을 통해 강수 예측의 근본적 모호성을 해소하려는 독창적이고 시의적절한 시도로, 새로운 데이터셋과 아키텍처 모두 학계에 실질적 기여를 할 것으로 판단된다. 다만 자동 생성된 텍스트 주석의 신뢰성과 실제 운용 시나리오에서의 실용성에 대한 추가 검증이 필요하다.