A Perspective on Foundation Models in Chemistry

Motivation

Known: ChatGPT와 같은 파운데이션 모델이 자연어처리와 컴퓨터 비전에서 성공했으며, 기계학습(ML)은 분자·재료 특성 예측, MLIP, 역설계 등 화학 문제에 적용되고 있다. 그러나 화학에서는 데이터 부족과 외삽(extrapolation) 문제가 제약으로 작용한다.
Gap: 화학 분야의 파운데이션 모델 연구가 빠르게 진화하고 있으나, 최신 동향과 유망한 접근법을 체계적으로 정리하고 통합 관점을 제시하는 종합 검토가 부재했다. 또한 '작은 파운데이션 모델'과 '큰 파운데이션 모델' 간의 명확한 정의와 구분이 필요하다.
Why: 파운데이션 모델은 대규모 데이터 학습을 통해 일반화된 표현을 학습한 후 다양한 다운스트림 작업에 전이학습으로 적응할 수 있어, 화학의 데이터 부족 문제 해결과 강건한 외삽 성능 제공이 가능하다. 이를 통해 신물질 발견과 분자설계 가속화가 기대된다.
Approach: 그래프 신경망(GNN), 트랜스포머, 대형 언어모델(LLM) 등 신경망 기반 모델을 활용하여 (1) 분자 특성 예측, (2) MLIP, (3) 역설계, (4) 다중 도메인 응용의 네 영역에서 파운데이션 모델 개발 현황을 체계적으로 분류·검토한다.

Figure 1. Overview of a foundation model in chemistry for property prediction, machine learning interatomic potentials,

분자 특성 예측 (Property Prediction): GraphCL, MolCLR, GraphMVP, GROVER, SMILES-BERT 등 대조학습(Contrastive Learning), 그래프 학습(Graph Learning), 구조 학습(Supervised Learning) 기반 사전학습 모델이 2M~111M 데이터로 학습되어 다양한 분자 특성 예측 작업에 적용됨
재료 특성 예측 (Materials Property Prediction): CrysGNN, DSSL, MOFTransformer 등이 결정 구조 데이터 152K~661K로 학습되어 밴드갭, 형성 에너지 등 재료 특성 예측에 효과적임을 입증
기계학습 상호작용 포텐셜 (Machine Learning Potentials): M3GNet, CHGNet, MACE-MP-0 등이 187K~1.58M 구조 및 에너지 데이터로 학습되어 분자동역학(MD) 시뮬레이션, 구조 완화, 촉매 발견 등 35개 이상의 응용에 전이 가능
역설계 (Inverse Design): 확산 모델(Diffusion Models) 기반 생성 모델이 원하는 특성을 갖는 신규 분자와 물질을 직접 생성하며, 다중모달(Multimodal) 파운데이션 모델이 텍스트 기반 역설계를 가능하게 함

그래프 신경망 (Graph Neural Networks, GNN): 원자와 결합을 노드와 엣지로 표현한 그래프에서 메시지 패싱(Message Passing)을 통해 원자 환경 정보를 학습하며, 등변성 GNN(Equivariant GNN)으로 기하학적 정보 활용
사전학습 전략: 대조학습(Contrastive Learning with augmentation), 노드/엣지/그래프 레벨 학습(Node/Edge/Graph-level Learning), 모티프 학습(Motif Learning), 특성 학습(Property Learning), SMILES 기반 학습 등 다양한 자기지도학습(Self-Supervised Learning) 기법 활용
데이터 확장: ZINC (2M~1B), PubChem (10M~77M), ChEMBL (456K~11M), Materials Project (139K~1.58M), JARVIS-DFT (307K) 등 대규모 공개 데이터베이스를 활용한 사전학습
모델 아키텍처: GIN, GCN, SchNet, CGCNN, Transformer, BERT, RoBERTa, NequIP, MACE 등 다양한 신경망 아키텍처를 특정 도메인에 맞게 선택 및 최적화
전이학습: 사전학습 모델을 특정 다운스트림 작업에 미세조정(Fine-tuning)하거나 특정 시스템에 재훈련하여 성능 향상

파운데이션 모델을 화학 분야에서 '작은 파운데이션 모델(단일 도메인)' 과 '큰 파운데이션 모델(다중 도메인)'로 명확히 구분하여 정의한 신개념 분류", '특성 예측, MLIP, 역설계, 다중 도메인이라는 네 가지 응용 영역으로 체계적으로 분류하여 각 도메인의 사전학습 방법론, 모델 아키텍처, 데이터 규모를 종합 비교 분석
그래프 표현, 텍스트 기반 표현, 3D 기하학 정보 등 다양한 분자/재료 표현 방식과 대응하는 파운데이션 모델 설계 전략을 구체적으로 검토
화학 데이터의 작은 규모 문제를 해결하기 위한 자기지도학습, 구조-특성 관계 학습, 물리적 제약 조건 활용 등 화학-특화 사전학습 기법 종합 정리
다중모달 파운데이션 모델(분자 구조 + 텍스트)을 통한 사용자 친화적 텍스트 기반 역설계 패러다임 제시

파운데이션 모델의 정확한 정의가 아직 확립되지 않았으며, 도메인에 따라 상이한 해석 가능성이 있음
대부분의 현재 파운데이션 모델이 단일 도메인(특성 예측 또는 MLIP 또는 역설계)에 국한되어 있고, 다중 도메인을 통합하는 '큰 파운데이션 모델' 개발은 초기 단계", '화학 데이터의 질적 불균형, 다양한 표현 방식(SMILES, 3D 구조, 결정 정보 등) 간 효과적인 통합 방안 부재
사전학습 모델의 일반화 성능, 외삽 능력, 물리적 타당성 검증을 위한 체계적인 벤치마크 부족
후속 연구 방향: (1) 다중 도메인을 통합하는 대규모 통합 파운데이션 모델 개발, (2) 화학적 지식과 물리적 제약을 명시적으로 포함하는 사전학습 설계, (3) 외삽 성능과 불확실성 정량화 연구, (4) 화학 재료 데이터베이스 확충 및 표준화, (5) 생성 모델과 예측 모델 간 통합, (6) 설명 가능성(Interpretability) 향상