The IAEA Fusion Data Lake Project — Accelerating AI and Big Data Applications through Open Science and FAIR Data

Motivation

• Known: 현재 융합 에너지 연구에서 AI 응용(neural network surrogate model, digital twin, large language model)이 확산되고 있으나, 이를 뒷받침할 메타데이터-풍부한 다중 기계 데이터셋 및 현대적 데이터 플랫폼 인프라가 부족한 상황이 알려져 있다.
• Gap: 기존의 기관별 단편적 데이터 인프라(UKAEA MAST Data Catalog, National Institute for Fusion Science의 LHD, MIT PSFC의 Alcator C-Mod 등)는 상호 연계되지 않아 기계-무관적이고 확장 가능한 다중 기계 모델 개발에 제약이 있다. 국제 차원의 통일된 데이터 거버넌스와 FAIR 준칙 기반의 페더레이션 접근이 필요하다.
• Why: 융합 에너지는 복잡한 플라즈마 물리와 공학을 다루는 중대한 도메인이며, AI/ML을 활용한 시나리오 설계, 플라즈마 제어, 물리 인사이트 도출이 기술 진전의 핵심이다. 이를 가능하게 하는 통합 데이터 인프라는 전지구적 협력 체계에서만 구축할 수 있으므로 IAEA의 중개 역할과 이러한 플랫폼의 전략적 중요성이 매우 높다.
• Approach: Snowflake, Microsoft Azure, Azure DevOps, C#/.Net 등 엔터프라이즈 기술 스택을 활용하여 ETL 기반의 medallion 구조 데이터 파이프라인을 구축하고, Minimal Metadata Model을 정의하여 메타데이터 기반의 재사용 가능한 수집 파이프라인을 개발했다. 3단계 PoC(Phase I: 페더레이션 개념 검증, Phase II: 확장성 입증, Phase III: 다양한 데이터셋 확장)를 통해 MAST, LHD, Alcator C-Mod, HL-2A 카탈로그를 통합하고, 접근 제어 및 라이선싱 기반의 Data Governance를 수립했다.

Achievement

Figure 1. Shows the high level architecture of the Fusion Data Lake: from the various data

플랫폼 아키텍처 설계 및 구현: 국제 데이터 카탈로그, 페더레이션, 중앙 스토리지 3대 축의 통합 플랫폼 완성. 다중 기관 데이터 통합: MAST(영국), LHD(일본), Alcator C-Mod(미국), HL-2A(중국) 4개 주요 토카막/스텔라레이터 카탈로그를 단일 FDL 데이터 모델 하에 수렴. 메타데이터 표준화: Minimal Metadata Model 정의 및 ITER IMAS Data Dictionary와 정렬. 데이터 거버넌스 체계: Terms of Service 및 4단계 접근-개인정보 보호 수준(Public, Internal, Restricted, Closed) 규정 수립. AI/ML 워크플로 기반 제공: Human-friendly 웹 인터페이스와 programmable API 제공으로 surrogate model·digital twin 통합 지원.

How

Figure 1. Shows the high level architecture of the Fusion Data Lake: from the various data

• Snowflake 클라우드 플랫폼 기반의 ETL 파이프라인 및 medallion 구조 데이터 저장소 구축\n• 메타데이터 기반 수집(metadata-driven ingestion) 파이프라인으로 설정 파일 방식의 재사용 가능한 변환 로직 개발\n• MAST Data Catalog REST API 활용한 페더레이션 동기화 메커니즘(Phase I)\n• Azure Blob Storage 및 MDS Plus 등 다양한 data source 연계 패턴 개발(Phase II)\n• NUCLEUS 계정 기반의 계층적 접근 제어(Public/Internal/Restricted/Closed) 시스템 구현\n• ITER IMAS Data Dictionary 정렬을 통한 온톨로지 개발

Originality

• IAEA의 중립적 국제기구 위치를 활용한 글로벌 데이터 페더레이션 모델 제시 — 기존 단일 기관 중심 데이터 시스템과 달리 국제 협력 체계 기반의 탈중앙화 구조\n• FAIR 원칙 준수와 ITER IMAS 표준화를 결합한 메타데이터 전략 — 도메인 특화 온톨로지와 기술 인프라의 통합\n• 3단계 PoC 기반의 점진적 확장 모델 — 검증된 아키텍처를 통한 위험 관리와 기관별 수용성 제고

Limitation & Further Study

• 현재 Phase II 완료 상태로 아직 pre-release 단계이며, Phase III 수행 중이므로 본격적인 운영 경험과 대규모 사용자 기반에서의 성능 데이터 부재\n• Minimal Metadata Model 상세화 수준이 초기 단계이며, ITER IMAS와의 정렬 작업이 진행 중이어서 최종 온톨로지 확정 미흡\n• 데이터 거버넌스 전략이 'provisional'으로 명시되어 있으며, 권한 매트릭스(view/download/edit) 개발이 추후 과제\n• 논문에서 기술 세부사항(예: 페더레이션 동기화 지연, 캐시 전략, 확장성 한계점) 및 성능 벤치마크 부족\n• 보안, 데이터 프라이버시, 재해복구(DR) 등 운영 안정성 관련 기술적 심화 논의 미흡

Evaluation

총평: IAEA Fusion Data Lake 프로젝트는 국제 융합 에너지 공동체의 AI/ML 역량 강화를 위한 전략적 인프라로, FAIR 원칙과 데이터 페더레이션 모델을 적절히 결합한 실용적 구현을 제시한다. Phase II 완료 및 Phase III 진행 중인 상황에서 MAST·LHD·Alcator C-Mod·HL-2A 4개 주요 장치의 다중 데이터 통합 성공은 글로벌 협력 체계의 기술적 실현성을 입증하는 의미있는 성과이다. 다만 본 논문은 인프라 현황 보고에 중점을 두고 있어 (1) 실제 운영 환경에서의 성능, (2) 머신러닝 워크플로 통합의 구체적 사례, (3) 데이터 질 보증(Data Quality Assurance) 메커니즘 등 구현 세부사항이 부족하며, (4) 거버넌스 전략이 아직 provisional 단계이므로 정책 구현의 구체성이 제한적이다. 그럼에도 불구하고 pre-release 단계에서 3개국 이상의 다기관 데이터 수렴과 표준화된 메타데이터 모델 정의는 실질적 진전이며, 국제 빅데이터 인프라 구축의 선례로 높은 가치를 지닌다.