Mechanistic Interpretability Tool for AI Weather Models

Motivation

• Known: AI 기상 모델은 전통적 수치예보(NWP)와 경쟁력 있는 예측 성능을 달성했으나, 수백만 개의 가중치로 훈련된 블랙박스 모델의 내부 작동 원리는 불명확하다. 머신러닝 해석가능성 분야에서 mechanistic interpretability는 신경망을 역공학하여 해석가능한 특징과 이들을 연결하는 회로를 이해하는 프레임워크로 대언어모델에 활용되고 있다.
• Gap: AI 기상 모델에 mechanistic interpretability 기법이 충분히 적용되지 않았으며, 기존 post-hoc 해석 방법(특성 섭동, 게임 이론, 그래디언트 기반 어트리뷰션)은 포괄적 이해를 제공하지 못한다. 특히 그래프 신경망 구조의 복잡한 latent representation을 체계적으로 분석할 도구가 부족했다.
• Why: AI 기상 모델의 운영 기상 예보로의 통합과 신뢰도 구축, 그리고 새로운 과학적 발견을 위해 내부 작동 메커니즘의 이해가 필수적이다. Mechanistic interpretability는 특징과 회로를 식별하여 모델이 학습한 물리적 과정과 패턴을 명확히 할 수 있다.
• Approach: Streamlit 기반 오픈소스 시각화 도구를 개발하여 다음 단계를 구현한다: (1) 모델 설정·예보 시간·분석 파라미터 지정, (2) 지리 영역 선택 및 입력·증분 데이터 표시, (3) latent feature vector 추출 및 상위 T개 활성화 채널 시각화, (4) cosine similarity와 PCA를 이용한 추가 분석. GraphCast의 16개 processor step에서 512차원 latent vector를 추출·분석하며, affine translator로 일관된 기저 비교를 수행한다.

Achievement

Fig. 3. Cosine similarity of the latent feature vectors for the forecast at 2016-03-09

도구 개발: GraphCast 용 오픈소스 시각화 도구 구현, 83.9M개 latent 데이터포인트 효율적 조직·분석 가능. 중위도 파동 해석: 특정 processor step에서 linear combination of latent channels이 중위도 시놉틱 스케일 파동에 대응되는 공간 구조 식별. 비습 해석: 비습 예보 변화가 특정 latent channel 조합과 대응될 수 있음을 cosine similarity 분석으로 입증. 확장성: 커스터마이징 가능한 오픈소스 프레임워크로 타 AI 기상 모델로 확장 가능성 제시.

How

Fig. 3. Cosine similarity of the latent feature vectors for the forecast at 2016-03-09

• GraphCast small 버전(1도 해상도, 10,242 mesh node)을 대상으로 단일 6시간 time step 실행. - 16개 processor step 각 end에서 512차원 latent feature vector 추출, geospatial 정보와 함께 저장. - 사용자가 선택한 원형 영역 내 mesh node의 T개 최대 활성화 채널 식별·시각화. - Cosine similarity (식 1) 계산으로 latent vector와 meteorological field 간 정렬 정도 평가. - PCA로 C개 주성분 추출, latent space 내 주요 변동 방향 식별. - Affine translator 적용으로 processor step 간 일관된 기저 유지.

Originality

• 개념 적용 창신성: Mechanistic interpretability를 AI 기상 모델에 체계적으로 적용한 첫 포괄적 시도. - 도구 기여: Streamlit 기반 대화형 시각화 도구로 기상학자·컴퓨터과학자 모두 접근 가능한 플랫폼 제공. - 정량적 분석: Cosine similarity와 PCA를 결합한 체계적 latent space 분석 방법론. - 확장 설계: 플러그인 방식 커스터마이징으로 타 모델·분석 기법 통합 가능한 구조.

Limitation & Further Study

• 사례 연구 제한: 중위도 파동·비습 두 가지 기상 현상만 제시, 일반화 범위 미흡. - 깊이 분석 부족: Linear combination 식별만 제시, 회로(circuit) 수준 해석(processor step 간 정보 흐름 추적) 미완성. - 정량적 검증 부재: 식별된 latent direction이 실제 예보 성능과 어떤 인과관계를 갖는지 미검증. - 모델 범위 제한: GraphCast 소형 버전에만 적용, Aurora 등 다른 최신 기상 모델로 검증 부족. 후속 연구: (1) 추가 기상 현상에 대한 광범위한 사례 연구, (2) Sparse autoencoder와 결합한 고급 특징 추출, (3) Processor step 간 정보 흐름 추적 가능한 회로 분석 도입, (4) 다양한 해상도·모델 구조에 대한 일반화 연구.

Evaluation

총평: 본 논문은 AI 기상 모델의 해석가능성 향상을 위해 mechanistic interpretability를 창의적으로 적용하고, 실용적 오픈소스 도구를 제시한 점에서 가치가 있다. 그러나 제시된 사례 연구가 제한적이고 회로 수준 분석 및 정량적 검증이 부족하다는 점은 개선이 필요하다. 기상 예보 운영화의 신뢰도 향상과 AI 기상 과학의 투명성 증진에 기여할 수 있는 잠재력이 높다.