Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior

Motivation

• Known: NLP와 CV 분야에서는 대규모 데이터로 사전학습한 foundation model(BERT, GPT 등)을 fine-tuning하여 다양한 downstream task에 적은 데이터로 적응시키는 pre-train and fine-tune 패러다임이 매우 성공적임이 알려져 있으며, 모델 크기·데이터 스케일·계산량에 따른 scaling law도 잘 연구되어 있다.
• Gap: SciML 분야에서는 Physics-Informed Neural Networks나 neural operator 같은 모델들이 존재하지만, PDE 계수·소스함수·경계조건이 바뀌면 처음부터 재학습해야 하는 one-off 학습 방식에 머물러 있으며, foundation model 패러다임(모델 크기, 데이터 다양성, 파인튜닝 전략, OOD 일반화)이 SciML에 적용 가능한지에 대한 체계적 연구가 부재하다.
• Why: SciML에서도 foundation model 접근이 가능하다면, 매번 새로운 PDE 문제마다 대량의 시뮬레이션 데이터로 처음부터 학습할 필요 없이 소량의 downstream 데이터만으로 다양한 물리 시스템에 신속히 적응할 수 있어, 과학·공학 분야의 데이터 효율적 대리모델(surrogate model) 개발에 큰 실용적 가치가 있다.
• Approach: 여러 PDE 연산자(계수, 소스함수, 미분연산자 종류)를 동시에 샘플링하여 다양성을 갖춘 대규모 pre-training 데이터셋을 구성하고, FNO를 이에 대해 사전학습한 뒤 zero-shot 및 few-shot fine-tuning으로 다양한 downstream PDE task(동일 분포 및 OOD)에 적응시켜 성능을 분석한다.

Achievement

Addressing (Q1). Testing error as a function of downstream examples for SYS-1 and SYS-2. We visualize the distribution of pre-training

1. Pre-training 데이터셋 다양성 확보: PDE의 모든 입력 변수(계수, 소스함수 등)를 동시에 샘플링하는 방식으로 기존 FNO 연구보다 확장된 다양한 pre-training 데이터셋을 구축하고, 적절한 정규화 전략의 중요성을 확인했다.
2. Downstream 데이터 스케일링 분석: 사전학습 모델을 fine-tuning하면 scratch 학습 대비 수 자릿수(orders of magnitude) 적은 downstream 데이터로도 목표 정확도에 도달할 수 있음을 광범위한 데이터 스케일에서 확인했다(대규모 target data 영역 제외).
3. 모델 크기 스케일링 분석: 64K~256M 파라미터(4000배 범위)로 모델 크기를 스케일링한 결과, fine-tuning이 scratch 학습보다 모델 크기 증가에 따른 성능 향상 폭이 더 크다는 것을 발견했다.
4. 물리 파라미터 OOD 전이 분석: downstream 물리 파라미터를 체계적으로 pre-training 분포 밖으로 밀어내며 실험한 결과, in-distribution 및 moderate OOD에서는 여전히 큰 성능 이득이 있으나 더 심한 OOD로 갈수록 이득이 감소함을 정량적으로 보였다.

How

Addressing (Q2). Model size scaling for SYS-1 and SYS-2 from 64𝐾to 256𝑀parameters for medium OOD test-cases. While finetuning

• Fourier Neural Operator(FNO)를 대표 SciML 아키텍처로 채택
• Poisson, Advection-Diffusion, Helmholtz 등 다중 PDE 시스템을 혼합하여 사전학습 데이터셋 구성 (계수, 소스함수, 미분연산자를 모두 변화시켜 샘플링)
• zero-shot(사전학습 모델 직접 평가) 및 few-shot(O(10)개 downstream 샘플로 fine-tuning) 두 가지 transfer learning 방식 적용
• 모델 파라미터 수를 64K에서 256M까지(4K배) 스케일링하며 scratch 학습과 fine-tuning 성능 비교
• PDE 물리 파라미터(확산계수, 이류계수, 파수 등)를 체계적으로 조정하여 downstream task의 OOD 정도를 정량화(Tab. 1)하고 그에 따른 전이 성능 변화를 측정

Originality

• NLP/CV의 foundation model 패러다임(pre-train and fine-tune)을 SciML의 neural operator에 처음으로 체계적으로 적용하고 검증
• 단일 PDE 계수 고정이 아닌 모든 입력 변수(계수, 소스함수)를 동시에 샘플링하는 pre-training 데이터셋 구성 방식 제안
• 모델 크기, downstream 데이터 크기, 물리적 OOD 정도라는 세 가지 축을 교차하며 SciML transfer learning의 스케일링 법칙을 최초로 정량적으로 특성화
• 여러 이질적인 PDE 시스템(Poisson, Advection-Diffusion, Helmholtz)을 혼합 학습하여 단일 모델이 다양한 downstream 물리 문제에 적응 가능함을 실증

Limitation & Further Study

• 실험이 FNO라는 단일 아키텍처와 비교적 단순한 2D/저차원 PDE 시스템(Poisson, Advection-Diffusion, Helmholtz)에 국한되어 있어, 더 복잡한 실제 과학 시뮬레이션(난류, 다상 유동 등)에 대한 일반화 가능성은 추가 검증이 필요하다.
• 물리 파라미터의 OOD 정도를 정량화한 기준(Tab. 1)이 특정 방식에 의존적이며, 다른 종류의 분포 이동(예: 기하학적 도메인 변화, 차원 변화)에 대한 분석은 다루지 않는다.
• 사전학습 데이터셋 생성 자체가 PDE solver를 통한 다량의 시뮬레이션을 요구하므로, 실제 데이터가 부족한 과학 분야에서 pre-training 데이터 확보의 실용적 비용 문제는 논의가 부족하다.
• 후속 연구로는 다른 neural operator 아키텍처(Transformer 기반 operator 등)로의 확장, 3D 및 시간 종속 PDE, 실제 관측 데이터를 포함한 하이브리드 pre-training 전략 등이 필요하다.

Evaluation

총평: SciML을 위한 foundation model 가능성을 체계적이고 실증적으로 탐구한 선구적 연구로, 스케일링 및 전이학습 행동에 대한 실질적 통찰을 제공하지만, 단순한 PDE 시스템과 단일 아키텍처에 국한된 한계가 있어 향후 더 복잡한 실제 과학 문제로의 확장이 기대된다.