Autonomous reinforcement learning agent for chemical vapor deposition synthesis of quantum materials

Motivation

Known: 고성능 재료 발굴은 계산 재료 과학을 통해 급속히 진전되었으나(수십만 개 재료 스크리닝), 실제 합성 방법론 개발은 여전히 시행착오 기반의 경험적 접근에 의존하고 있어 약 20년의 재료 개발 기간이 소요됨
Gap: CVD와 같은 비용액 기반 양자 재료 합성은 온도, 농도 등 시간-상관 매개변수가 복잡하게 얽혀 있어 기존 고처리량(high-throughput) 실험 합성이나 텍스트 마이닝 기반 ML 기법으로는 미흡함
Why: 합성 스케줄 최적화는 수천 개의 조정 가능한 매개변수와 거대한 탐색 공간에서 시간 수열의 순차적 의사결정 문제로, 이는 강화학습의 적합한 응용 분야임
Approach: 반응 분자동역학(RMD) 시뮬레이션으로 10,000개 합성 데이터 생성 → 신경 자기회귀 밀도 추정기(NADE-CVD)로 빠른 대체 모델 구축 → 오프라인 모델 기반 강화학습으로 최적 합성 정책 발굴

NADE-CVD 모델의 높은 정확도: 10,000개 RMD 시뮬레이션으로 훈련된 신경망 기반 대체 모델이 약 3.5 원자(RMSE) 오차로 CVD 합성 결과를 예측하여, 개별 상(phase)에 대해 ≤30 원자 이내의 최대 예측 오차 달성
미지의 최적 합성 스케줄 발굴: RL 에이전트가 학습한 임계 온도(threshold temperature)와 화학포텐셜(chemical potential)을 기반으로 높은 결정성, 상순도(phase purity)를 갖는 반도성 MoS₂를 생성하는 기존에 알려지지 않은 합성 조건 예측
장시간 거동 예측 가능성: 분자동역학 시뮬레이션의 적용 범위를 넘어 실험 합성과 직접 연관된 더 긴 시간 스케일의 반응 시스템 거동 예측 가능성 입증

반응 분자동역학 시뮬레이션:

MoO₃ 결정과 H₂S, S₂, H₂를 포함하는 황화 환경의 다단계 반응 모의
20나노초를 20개 단계(각 1ns)로 분할, 매 단계마다 온도(T), 분자 개수(nH₂, nS₂, nH₂S) 4가지 변수로 정의된 합성 quartet 사용
각 RMD 시뮬레이션은 약 2일 소요

신경 자기회귀 밀도 추정기(NADE-CVD) 모델:

오프라인 모델 기반 강화학습:

학제 간 혁신: 강화학습을 재료 합성 최적화에 최초 적용하여 시간-상관 다중 매개변수의 순차적 최적화 문제를 체계적으로 해결
계산 과학과의 통합: RMD 시뮬레이션으로 충분한 훈련 데이터 생성하고, 신경망 기반 대체 모델(NADE-CVD)로 계산 비용을 1000배 이상 단축
오프라인 강화학습의 재료 과학 응용: 실험 데이터의 부재 또는 부족 상황에서 시뮬레이션 기반 데이터만으로 학습 가능한 오프라인 RL의 장점 활용
물리적 해석 가능성: 임계 온도, 화학포텐셜 등 물리적 의미 있는 합성 매개변수 상관관계 발굴