AFDBench: A Benchmark for Evaluating AI-Generated National Weather Service Forecast Discussions

Motivation

• Known: AI weather prediction 분야에서는 GraphCast, Pangu-Weather 같은 모델들이 격자 형태의 수치 예보 생성에서 뛰어난 성능을 보여왔으며, LLM들도 다양한 도메인의 텍스트 생성에서 활용되고 있다.
• Gap: 그러나 격자 수치 예보 데이터를 전문 기상학자 수준의 자연어 설명(AFD)으로 변환하는 "last mile" 단계, 즉 수치 정밀성과 도메인 특화 어휘, 엄격한 구조적 관례가 요구되는 과업에 대해서는 이를 평가할 벤치마크가 전무했다.
• Why: AFD는 생명·안전과 직결되는 최고 위험도의 과학 텍스트이므로, 이 영역에서 LLM의 능력을 정량적으로 평가할 수 있는 벤치마크가 있어야 도메인 특화 과학 텍스트 생성 연구를 안전하게 가속할 수 있다.
• Approach: 13개 NWS 사무소, 4개월, 7개 기후 지역에 걸친 7,732개 AFD를 Google WeatherNext 2의 구조화 예보 데이터와 짝지어 데이터셋을 구축하고, Met-Align·Style-Align·Input-Grounding 세 지표로 오픈소스 LLM들의 zero-shot 생성 성능을 평가했다.

Achievement

1. 벤치마크 구축: 13개 NWS 사무소의 7,732개 전문가 작성 AFD를 WeatherNext 2 구조화 예보와 짝지은 4필드(Instruction, Input, Thinking, Output) JSONL 데이터셋을 구축하고, 지리적 hold-out split(11개 사무소 학습, 2개 미공개 사무소 테스트)을 제공했다.
2. 세 가지 평가 지표 제안: 수치 정확도를 측정하는 Met-Align, 전문 어휘 사용을 측정하는 Style-Align, 입력 데이터 충실도를 측정하는 Input-Grounding을 정의하여 다각도로 생성 품질을 평가할 수 있게 했다.
3. 베이스라인 및 변별력 검증: Qwen2.5-7B, Mistral-7B, Hermes-3-8B의 zero-shot 성능(∼13% Met-Align, ∼0.33 Style-Align, ∼0.88 Input-Grounding)을 측정해 LLM과 전문 기상 글쓰기 사이의 격차를 확인했고, 도메인 특화 GRPO로 학습한 AI-Met-v1이 Style-Align 0.619, Input-Grounding 0.940으로 크게 향상됨을 보여 벤치마크가 도메인 적응 모델을 변별할 수 있음을 입증했다.

How

• 13개 NWS Weather Forecast Office에서 2025년 12월 31일~2026년 4월 6일 사이 발행된 AFD 텍스트(평균 951단어)를 수집
• 각 AFD에 대응하는 단일 시점(single-timestep) WeatherNext 2 예보(지표 조건, 쾌적 지수, 상층 대기 필드 포함)를 짝지음
• Instruction, Input(WeatherNext 2 JSON), Thinking(인간 AFD에서 추출한 종관적 추론), Output(전체 AFD 텍스트)의 4필드 JSONL 포맷 구성
• 11개 사무소(6,699개 샘플)를 학습용, 2개 미공개 사무소 BOX·MRX(1,033개 샘플)를 테스트용으로 지리적 분할
• Met-Align: 생성 텍스트와 참조 텍스트 간 2~3자리 숫자의 교집합 비율 측정
• Style-Align: SYNOPSIS, CONVECTION, ADVECTION 등 12개 표준 기상 용어의 중복 여부 측정
• Input-Grounding: 온도 정확도(입력값 대비 ±3°F 이내), 정확한 풍향, 정확한 기압 체계(고기압/능 대 저기압/골) 세 조건으로 입력 데이터 충실도 측정
• Qwen2.5-7B, Mistral-7B, Hermes-3-8B를 zero-shot으로 평가하고, 도메인 특화 GRPO로 학습된 AI-Met-v1과 비교

Originality

• AI 생성 기상 예보 텍스트에 특화된 최초의 벤치마크로, 격자 수치 예보와 전문가 작성 자연어 설명을 실제로 짝지은 페어드 데이터셋을 제공한다는 점에서 독창적이다.
• 단순 텍스트 유사도가 아닌 수치 정확성(Met-Align), 전문 어휘 스타일(Style-Align), 입력 데이터 충실도(Input-Grounding)라는 도메인 특화 세 가지 지표를 새롭게 설계했다.
• 지리적 hold-out split을 통해 미공개 지역에 대한 일반화 가능한 추론 능력을 평가하도록 설계한 점이 특징적이다.

Limitation & Further Study

• Met-Align 지표가 단일 시점(single-timestep) 입력과 다중 시점 참조 간 불일치로 인해 구조적으로 낮게 측정될 수 있어, 숫자 교집합 기반 측정 방식 자체의 타당성에 대한 추가 검증이 필요하다.
• Style-Align이 12개 고정 용어의 중복 여부만을 보므로 실제 문체나 전문성의 미묘한 차이를 충분히 포착하지 못할 가능성이 있다.
• 평가 대상 LLM이 7~8B 규모의 오픈소스 모델 3종에 국한되어 있어, 대규모 모델이나 상용 모델과의 비교, 그리고 다양한 파인튜닝/프롬프팅 전략에 대한 폭넓은 검증이 부족하다.
• 논문이 초록 수준의 짧은 형태(2페이지)로 제출되어 데이터 수집 방법론, 지표의 통계적 타당성 검증, 인간 평가와의 상관관계 등에 대한 세부 내용이 부족하다.

Evaluation

총평: 생명·안전과 직결되는 전문 기상 예보문 생성이라는 중요하지만 그동안 다뤄지지 않은 문제를 겨냥해 최초의 벤치마크를 제시했다는 점에서 의의가 크지만, 짧은 워크숍 논문 형태로 세부 방법론과 지표의 타당성 검증이 제한적이어서 후속 연구를 통한 보강이 필요하다.