HVR-Met: A Hypothesis-Verification-Replanning Agentic System for Extreme Weather Diagnosis

Motivation

• Known: 딥러닝 기반 weather forecasting 모델(FourCastNet, Pangu-Weather, GraphCast 등)은 예측 정확도와 효율성 면에서 큰 발전을 이루었으며, agentic framework는 데이터 획득, 코드 생성, 멀티모달 해석 등 일반 자동화 태스크에서 잠재력을 보이고 있다.
• Gap: 기존 weather foundation model은 black-box 예측 도구로서 인과 추론과 진단적 해석을 지원하지 못하며, 기존 agentic framework(Zephyrus, ClimateAgent, EWE 등)는 전문가 지식 통합 부족, 전문가 수준의 반복 추론 루프 부재, 복잡한 워크플로우에 대한 세밀한 검증·평가 체계 부재라는 한계를 지닌다.
• Why: 극한 기상 진단은 기상 경보 및 재난 대응의 과학적 근거를 제공하는 핵심 업무이지만 현재 인력 의존적 방식은 경험 편차와 실수 가능성이 크므로, 전문가 수준의 자동화된 진단 에이전트 시스템 구축은 기상 서비스와 공공 안전에 실질적 기여를 할 수 있다.
• Approach: Decomposer, Data Specialist, Code Executor, Plotter, Image Checker, Evaluators, Diagnostician, Reporter 등 7개 전문 에이전트로 구성된 multi-agent 시스템을 설계하고, 전문가 논문에서 추출한 진단 가이드라인 라이브러리와 Hypothesis-Verification-Replanning 폐루프 추론을 결합하여 이상 기상 신호에 대한 논리적이고 근거 기반의 진단 체인을 구성한다.

Achievement

1. HVR-Met 시스템 제안: 전문가 수준의 극한 기상 진단을 자동화하는 새로운 multi-agent framework를 제안하였다.
2. Hypothesis-Verification-Replanning 루프 도입: 이상 기상 신호에 초점을 맞춰 진단 경로를 자가 개선하는 폐루프 추론 메커니즘을 구현하였다.
3. 신규 벤치마크 구축: 30종의 기상 지수 계산과 20종의 기상 플롯팅을 포괄하는 극한 기상 진단 벤치마크를 구축하였다.
4. 높은 성능 달성: 지수 계산 71.86%, 그림 생성 79.52%, 최종 리포팅 85%의 pass rate를 달성하여 예보관 보조 능력을 입증하였다.

How

• 584편의 극한 기상 관련 논문(Meteorological Monthly, Transactions of Atmospheric Sciences, Acta Meteorologica Sinica, American Meteorological Society)에서 핵심 지식을 반자동으로 추출하여 진단 가이드라인 저장소(Guideline Library)를 구축하고, 5명의 시니어 예보관이 검증함.
• Decomposer가 가이드라인 저장소를 참조하여 진단 경로를 계획하고, Data Specialist와 Code Executor가 데이터 수집·계산을 수행하며, Plotter와 Image Checker가 시각화 및 품질 검증을 담당함.
• Diagnostician이 멀티모달 abductive reasoning을 통해 물리적으로 검증 가능한 가설을 세우고, 증거가 불충분할 경우 시스템이 동적으로 replanning을 트리거하여 진단 경로를 조정하는 closed-loop 메커니즘을 구성함.
• Reporter가 최종 진단 보고서를 종합적으로 작성함.
• 100개의 극한 기상 이벤트에 대한 전체 진단 분석과, 150개의 지수 계산(30종) QA, 100개의 플롯팅(20종) QA로 구성된 250개의 세분화 QA 쌍으로 벤치마크를 구성하고 기상 전문가가 검증함.

Originality

• 극한 기상의 탐지 및 인과 귀속(causal attribution)에 자율 에이전트 시스템을 적용한 최초 시도 중 하나로, 기존 Zephyrus, ClimateAgent, EWE 등이 다루지 못한 미개척 영역을 다룸.
• 인간 전문가의 "Weather Consultation" 인지 워크플로우를 모사한 Hypothesis-Verification-Replanning 폐루프 메커니즘을 제안하여, 사전 정의된 사고 경로(predefined thought path)에 의존하는 기존 시스템과 차별화됨.
• 584편 전문 논문 기반 반자동 지식 추출 및 전문가 검증을 통한 진단 가이드라인 라이브러리를 구축하여 도메인 전문지식을 명시적으로 통합함.
• atomic-level 서브태스크(지수 계산, 플롯팅)부터 전체 진단 프로세스까지 아우르는 세분화된 새로운 벤치마크를 제시함.

Limitation & Further Study

• 지수 계산 71.86%, 그림 생성 79.52% 등 atomic-level 서브태스크의 pass rate가 완벽하지 않아, 세부 단계에서의 오류가 전체 진단 체인에 누적될 위험이 존재함.
• 벤치마크가 100개 이벤트, 250개 QA로 상대적으로 제한된 규모이며, 특정 지역·기상 유형에 편중되었을 가능성에 대한 검증이 필요함.
• 가이드라인 라이브러리 구축이 특정 언어(중국어 중심 저널) 및 특정 기관(중국 기상국) 자료에 의존하여 다른 지역·기후대 극한 기상 사례에 대한 일반화 가능성 검증이 요구됨.
• LLM 기반 에이전트의 hallucination이나 잘못된 물리적 가설 생성 가능성에 대한 안전장치 및 실제 운영 환경 배포 시 신뢰성 검증이 후속 연구로 필요함.

Evaluation

총평: 전문가 지식과 폐루프 추론을 결합한 다중 에이전트 시스템으로 극한 기상 진단이라는 실질적이고 어려운 문제에 새로운 벤치마크와 함께 의미 있는 접근을 제시하였으나, 세부 태스크의 정확도 개선과 지역적 일반화 검증이 향후 과제로 남아있다.