A data-efficient foundation model for porous materials based on expert-guided supervised learning

Motivation

• Known: 다공성 소재(MOF, COF, zeolite 등)는 높은 비표면적과 조정 가능한 구조적 특성으로 산업적 중요성이 크다. 파운데이션 모델은 대규모 데이터로 사전학습하면 적은 데이터로도 우수한 성능을 보이지만, 재료과학에서는 데이터 확보가 매우 어렵다(예: 실험적 zeolite 구조 1000개 미만). 기존 연구는 모델 아키텍처나 태스크 설계에 전문 지식을 부분적으로 통합했으나, 사전학습 데이터 효율성 향상을 위한 전문 지식의 잠재력은 충분히 탐구되지 않았다.
• Gap: 기존 파운데이션 모델은 방대한 훈련 데이터가 필요한데 재료과학에서 대규모 데이터 확보가 불가능하며, 분자 력장과 기하학적 분석 같은 오래된 물리적 지식을 사전학습의 강력한 감독 신호로 직접 활용하는 것이 미흡하다. 특히 서로 다른 guest 분자에 대한 PES 프로필의 차이를 범용 디스크립터로 변환하는 문제가 미해결되어 있다.
• Why: 다공성 소재는 에너지·환경 분야의 광범위한 응용(가스 저장, 분리, 촉매)이 있어 고처리량 스크리닝이 중요하나, 물성 예측을 위해 현재 계산 비용이 크다. 데이터 효율적이면서도 범용적인 파운데이션 모델이 있으면 신소재 발굴과 최적화를 가속화할 수 있다.
• Approach: PES 기저함수를 도입하여 Pauli 교환-반발 에너지, London 분산 에너지, Coulomb 에너지를 선형결합으로 표현하되, 특정 guest에 편향되지 않게 21개 항을 통합 디스크립터로 사용한다. GNN으로 재료 구조를, vision transformer로 선형결합된 PES를 인코딩한 후, cross-attention 기반 fusion 모듈로 두 모달리티를 결합한다. 다중 규모 사전학습 태스크(재료 레벨: 위상 분류, PLD, LCD, ASA, VF; 원자 레벨: PES 패치 내 원자 수, SDF)를 설계하여 기하학적 특성을 학습한다.

Achievement

Fig. 3 | Prediction error distributions (box plots) across diverse tasks. a Gas

• 0.1백만 MOF로 사전학습한 SpbNet이 2백만 개 이상의 다공성 소재, 1.2억 개 분자·재료 샘플로 학습한 기존 모델을 상대오차 20% 이상 감소시키며 능가

• 40개 이상 MOF 벤치마크(가스 흡착, 분리, 탄성률 등)에서 일관되게 우수한 성능

• COF, PPN, zeolite 등 분포 외 재료에 대해서도 강한 일반화 능력 입증

• 레이블 효율성 실험에서 제한된 미세조정 데이터로도 우수한 성능 유지

How

Fig. 1 | Overall training pipeline of SpbNet. SpbNet consists of four main parts: (1)

• PES 기저함수의 선형결합을 통한 21채널 3D 이미지 표현으로 분자 편향 제거

• Dual-stream multi-modal 아키텍처(GNN + Vision Transformer + cross-attention)로 구조와 에너지 정보 독립적 처리 및 효율적 융합

• Multi-scale 사전학습 태스크(위상, 공극 크기, 표면적, 접근성 등)로 다양한 공간 규모의 기하학적 특성 학습

• Multi-head fine-tuning 전략으로 다양한 downstream 태스크에 신속 적응

Originality

• PES 기저함수를 범용 디스크립터로 도입하여 게스트 분자별 편향 제거 — 기존의 분자 특이적 PES 표현의 한계 극복

• Dual-stream multi-modal 설계에서 GNN과 vision transformer의 이질적 표현을 cross-attention으로 융합 — 각 모달리티의 다양성 유지

• 전문 물리 지식(분자 력장, 기하학적 분석)을 직접 감독 신호로 통합하여 사전학습 데이터 효율성 향상 — 기존의 부분적 지식 활용을 넘어선 체계적 접근

Limitation & Further Study

• 사전학습은 MOF 중심이므로 다른 다공성 소재에서의 성능 상한 불명확

• PES 기저함수 21개 항의 선택 근거와 최적성에 대한 상세한 분석 부족

• 다양한 GNN 아키텍처에 대한 체계적 검증 부족

• 큰 규모 downstream 태스크에서의 미세조정 수렴 특성과 과적합 위험에 대한 논의 필요

Evaluation

총평: 본 논문은 expert knowledge를 체계적으로 통합한 혁신적 사전학습 프레임워크로, 데이터 부족이 심각한 재료과학 분야에서 파운데이션 모델의 실용적 가능성을 입증한다. PES 기저함수의 도입과 dual-stream 아키텍처의 설계가 우수하고, 광범위한 벤치마크에서 강한 데이터 효율성을 보인다. 다만 기저함수 선택의 최적성 분석 및 다양한 소재군에서의 시스템적 평가 강화가 요구된다.