Large Language Model Assisted Discovery of Optimal Dopants for Enhanced Thermoelectric Performance in CoSb3 Based Skutterudites

Motivation

• Known: 스커터루다이트는 PGEC(Phonon-Glass Electric Crystal) 특성을 보이는 유망한 열전 소재이며, Ba, Yb, In 등의 필러 원소가 캐리어 농도 증가 및 격자 열전도 감소를 통해 열전 성능을 향상시킬 수 있다는 것이 알려져 있다.
• Gap: 전통적인 시행착오법과 DFT/MD 계산은 막대한 시간과 자원이 소요되어 광범위한 조성 공간 탐색이 제한적이며, 기존 ANN 기반 모델은 구조 정보나 명시적 원소 특성 기술이 필요해 미보고 조성 예측에 어려움이 있다.
• Why: LLM 기반 자동 정보 추출과 머신러닝을 결합하면 대규모 문헌 데이터에서 신뢰성 높은 학습 데이터셋을 구축하고 고성능 열전 소재 후보를 신속하게 탐색할 수 있어 지속 가능한 에너지 기술 발전을 가속화할 수 있다.
• Approach: 412개 실험 데이터를 수집한 CoSb3 기반 스커터루다이트 데이터셋을 구축하고, 기존 ANN 기반 모델과 BERT 임베딩 기반 회귀 헤드 모델을 비교 평가한 후, 우수한 성능의 모델로 신규 조성 후보를 제안하여 제1원리 계산으로 검증하는 통합 파이프라인을 구현했다.

Achievement

Figure 3: (a) MSE loss plots of ANN training and validation as well as BERT based model training

• LLM 기반 자동 데이터 추출: 300여 편 논문에서 반자동으로 조성 및 ZT 데이터를 추출하여 412개 항목의 고품질 데이터셋 구축
• 우수한 예측 성능: BERT 임베딩 기반 모델이 기존 one-hot 인코딩 ANN 모델 대비 유의미하게 낮은 MSE 손실 달성
• 순수 조성 기반 예측: 구조 정보 없이 화학식만으로 ZT 예측 가능한 단순하고 실용적인 프레임워크 개발
• 신규 도판트 후보 제안: 생성된 단일, 이원, 삼원 필러 조성 중 고성능(ZT > 1.0) 및 저성능(ZT < 0.5) 후보 식별
• 제1원리 검증: DFT 및 MD 시뮬레이션을 통해 전기 전도도 및 열 전도도 계산으로 예측 모델의 신뢰성 입증

How

Figure 2: (a) One-hot encoded style representation of the composition used in the ANN model,

• 300여 논문에서 수동 및 반자동 방식으로 CoSb3/Co4Sb12 기반 스커터루다이트의 화학식, 측정 온도, ZT 값 수집
• 조성 정보를 Alpaca 스타일 자연언어 형식으로 포맷팅하여 BERT('bert-base-uncased') 모델 입력 준비", "BERT의 positional encoding을 제거하여 원소 순서에 불변인 768차원 '[CLS]' 토큰 임베딩 추출", '임베딩에 단일 은닉층 회귀 헤드를 연결하여 조성과 온도로부터 ZT 예측
• 기준 ANN 모델(one-hot 인코딩 + 2개 은닉층 + ReLU)과의 MSE 손실 비교
• 임의 표본 생성 전략으로 단일/이원/삼원 필러 원소를 포함한 새로운 CoSb3 조성 후보 생성
• 예측 ZT 값 기준(낮음 < 0.5, 높음 > 1.0)으로 유망 후보 선별
• DFT 계산으로 전자 상태밀도(DOS) 및 밴드 구조 분석, MD 시뮬레이션으로 열 전도도 계산

Originality

• LLM 기반 자동 정보 추출 적용: 대규모 학술 문헌에서 비정형 데이터를 LLM으로 자동 추출하여 고품질 도메인 특화 데이터셋 구축하는 방법론의 신규 시도
• 순수 조성 기반 예측: 구조 정보나 원소 특성치 없이 화학식만으로 복잡한 물리 특성을 예측하는 간결한 접근법
• 위치 인코딩 제거 전략: BERT의 positional embedding을 명시적으로 영(zero)으로 설정하여 원소 순서 불변성 확보 - 무기 화학식 특성을 반영한 맞춤 설계
• 다단계 검증 파이프라인: 머신러닝 예측 → 유망 후보 선별 → DFT/MD 제1원리 검증의 통합 워크플로우로 신뢰성 확보
• 재료 설계 실질화: 예측 모델로 얻은 후보 조성에 대해 전기/열 전도도를 정량적으로 계산하여 실제 활용 가능성 검증

Limitation & Further Study

• 데이터셋 규모가 412개로 제한적이어서 딥 러닝 모델의 과적합 위험 존재 - 더 큰 규모의 다양한 열전 소재 데이터 수집 필요
• LLM 기반 자동 데이터 추출 과정에서 논문 형식의 다양성과 오류 가능성에 대한 품질 관리 방안 미상세
• BERT 임베딩이 무기 화학식 이해에 최적화되지 않은 일반 목적 모델이므로 도메인 특화 사전학습 모델 개발 가능성
• DFT/MD 검증 대상이 제한적이어서 전체 예측 후보에 대한 광범위한 제1원리 검증 부재 - 우선순위 지정 기준의 타당성 재검토 필요
• 온도 의존성 모델링이 회귀 헤드의 추가 입력으로만 처리되어 온도-조성 상호작용의 복잡성 충분히 반영되지 않을 가능성
• 후속 연구: 전이학습(transfer learning)을 활용한 도메인 특화 LLM 사전학습, 더 큰 규모의 다중 열전 소재 클래스 확대, 고처리량 계산 탐색(high-throughput screening)과 통합, 불확실성 정량화 기법 도입

Evaluation

총평: 본 논문은 LLM 기반 자동 정보 추출과 BERT 임베딩을 활용한 순수 조성 기반 열전 성능 예측이라는 새로운 방법론을 제시하며, 데이터 주도 신소재 발견에 LLM의 적용 가능성을 입증했다. 제1원리 검증으로 신뢰성을 강화했으나, 데이터셋 규모 확대와 도메인 특화 모델 개발을 통한 추가 발전 가능성이 충분하다.