Toward a Scientific Discovery Engine for Weather and Climate Data: A Visual Analytics Workbench for Embedding-Based Exploration

Motivation

• Known: Embedding 기반 표현학습은 지구 과학 데이터에서 구조를 식별하는 데 사용되고 있으며, 유사도 검색과 유추 검색(analog retrieval)을 가능하게 한다. 다만 잠재 공간의 최근접 이웃이 항상 과학적으로 의미 있는 것은 아니다.
• Gap: 임베딩 공간이 어떻게 조직되는지, 어떤 표현이 주어진 과학적 과제에 적절한지, 그리고 검색 결과가 실제 물리 현상을 반영하는지 검증하기 위한 통합 도구가 부족하다.
• Why: 페타바이트 규모의 기상·기후 데이터와 AI 기반 앙상블 모델의 급증으로 인해 데이터 생산 병목에서 검색·해석·검증 병목으로 전환되었으며, 신뢰할 수 있는 임베딩 기반 검색이 과학적 발견의 핵심이 되었다.
• Approach: Embedding 실험을 원본 데이터, 메타데이터, 공간 맥락, 모델 설정과 연결하는 시각분석 워크벤치를 설계하였으며, 사용자가 잠재 공간을 검사하고 검색 전략을 대화형으로 설계하며 기상학적 증거로 결과를 검증할 수 있게 지원한다.

Achievement

Figure 1: Overview of the workbench and example retrieval workflow. (a) The workbench augments conventional weather and

• 출처 추적 가능한 검색: Embedding 벡터, 원본 이미지, 공간 좌표, 타임스탬프, 메타데이터, 모델 설정을 연결하여 잠재 공간 결과를 물리 데이터까지 추적 가능하게 함
• 대화형 검색 전략 설계: 이미지 수준, 패치 수준, 메타데이터 제약, 공간 제약, 전역-로컬 검색을 지원하여 최근접 이웃이 실제 대기 구조를 반영하는지 검증 가능
• 확장 가능한 검색 평가: ERA5 vision transformer 임베딩과 IBTrACS 메타데이터를 사용한 열대 사이클론 사례 연구로 수천만 개의 고차원 임베딩에 대한 disk-backed 벡터 검색 가능성 입증

How

Figure 2: Latent-space inspection linked to input composites. The

• 공유 원본 데이터 소스(메타데이터, 원본 이미지, 기상 변수)와 모델별 임베딩 실험을 분리하여 아키텍처 설계
• Vision Transformer(ViT)를 사용한 ERA5 reanalysis 데이터의 임베딩 생성
• Out-of-core 벡터 검색 백엔드 구현으로 메모리 제약을 초과하는 대규모 임베딩 컬렉션 처리
• Linked visualization(이미지, 공간 맥락, 메타데이터 필터, 매칭 패치 하이라이트)를 통한 대화형 검사 인터페이스
• Multiple model 간 비교를 위한 실험 관리 및 메타데이터 기반 필터링 기능

Originality

• Embedding 검색과 시각분석을 결합한 통합 워크벤치로, 기존 분산된 스크립트/도구 조합을 단일 시스템으로 통합
• Provenance 추적과 기상학적 검증을 embedding 실험의 핵심 설계 요소로 포함
• Patch 수준 인덱싱과 out-of-core 검색으로 상용 워크스테이션 하드웨어에서 대규모 임베딩 처리를 실현
• 여러 embedding 모델의 동시 비교를 지원하는 실험 추상화 설계

Limitation & Further Study

• Embedding 공간의 과학적 의미성을 자동으로 판단하는 메커니즘이 부족하며, 사용자의 주관적 판단에 의존
• 사례 연구가 tropical cyclone에 한정되어 다른 기상 현상(fronts, convection 등)에 대한 일반화 가능성 미불명
• Embedding 모델 선택과 전처리 전략에 따른 검색 결과의 민감도 분석 부재
• 실시간 데이터나 매우 고해상도(global 1km 이상) 데이터에 대한 확장성 평가 필요
• Deep learning 기반 embedding의 해석 가능성(interpretability) 강화 필요

Evaluation

총평: 기상·기후 빅데이터 시대에 embedding 기반 검색을 과학적으로 신뢰할 수 있게 만드는 실질적이고 우수하게 설계된 워크벤치로, 출처 추적과 물리 검증 강조가 돋보인다. 오픈소스 공개와 실제 사례 입증으로 학계 영향력이 높을 것으로 예상된다.