Pretrained Model Representations as Acquisition Signals for Active Learning of MLIPs

Motivation

• Known: 능동학습(AL)은 MLIP 훈련 시 라벨링 비용을 줄이는 표준 도구이며, 위원회 합의(committee disagreement)나 베이지안 훈련이 주로 사용되어 왔다. 사전학습된 파운데이션 모델은 화학적 표현을 학습하지만 반응 화학에서의 성능 향상에는 여전히 세밀한 조정이 필요하다.
• Gap: 기존 연구는 보조 불확실성 헤드, 베이지안 훈련, 위원회 앙상블 등 복잡한 메커니즘에 의존하는 반면, 사전학습 모델의 잠재 공간이 이미 효과적인 획득 신호를 충분히 포함할 수 있는지는 미탐구 상태였다. 특히 SO(3)-등변 사전학습 MLIP에 대한 유한폭 NTK 적용이 이전에 시도되지 않았다.
• Why: 반응화학에서 전이상태 구성은 희소하고 DFT 라벨링 비용이 높아 능동학습이 중요하다. 더 단순하고 효율적인 획득 신호가 없으면 대규모 반응 시뮬레이션의 실용성이 제한된다.
• Approach: 사전학습된 MACE 모델로부터 유한폭 에너지 NTK와 숨겨진 활성화 특성 기반 커널 두 가지 획득 신호를 직접 추출하고, 최대 군집 거리(LCMD) 배치 전략과 함께 사용하여 오프라인 풀 기반 능동학습을 수행한다.

Achievement

Figure 1 summarises the central active-learning result on

• 데이터 효율성: T1x 반응화학 벤치마크에서 에너지 RMSE 38.1%, 힘 RMSE 28.3% 데이터 감소를 달성했으며, 에너지 MAE 27.2%, 힘 MAE 8.3% 감소도 기록했다.
• 성능 우위: NTK 및 활성화 커널이 고정 디스크립터(SOAP, Morgan fingerprints), 위원회 합의, 무작위 획득을 지속적으로 상회한다.
• 해석 가능성: 사전학습 모델 기반 커널이 더 나은 잔차 보간, 보정된 불확실성 추정, 반응 경로를 따라 화학적으로 의미있는 구조를 보존하는 유사성 공간을 생성한다.
• 일반화 가능성: RGD 및 PMechDB 반응성 부분집합에서의 추가 평가로 방법의 견고성을 입증했다.

How

Figure 2. Global kernel matrices on a five-reaction T1x subset. Structures are sorted by reaction family and frame index

• MACE 아키텍처의 숨겨진 표현으로부터 유한폭 NTK 계산 (기존 Gaussian Moment Networks와 달리 SO(3)-등변 구조에 맞게 적응)
• 활성화 특성 기반 커널을 숨겨진 레이어로부터 직접 구성하여 모델 불확실성 추정
• LCMD(Largest Cluster Maximum Distance) 배치 획득 전략으로 구조적 다양성과 불확실성 기반 선택 결합
• 오프라인 풀 기반 설정에서 고정 후보군에 대해 획득 규칙만으로 라벨링 효율성 평가
• T1x(반응 경로 포함 DFT 데이터셋)에서 주요 평가, RGD·PMechDB 추가 검증
• 고정 디스크립터, 무작위 초기화 커널, 위원회 방법과 비교하여 진단 수행

Originality

• SO(3)-등변 사전학습 MLIP(MACE)에 유한폭 에너지 NTK를 처음으로 적응 적용
• 현대적 파운데이션 모델 맥락에서 잠재공간 기반 능동학습의 효과성을 체계적으로 입증 (기존 연구는 좁은 HfO2 재료 설정에만 국한됨)
• 보조 불확실성 헤드나 베이지안 훈련 없이 사전학습된 표현만으로 충분한 획득 신호를 추출할 수 있음을 보임
• 반응화학에서의 분포 편향을 명시적으로 다루는 오프라인 풀 기반 AL 연구

Limitation & Further Study

• 주로 T1x 데이터셋에 중점을 두고 있으며, RGD·PMechDB는 보조 평가로만 포함되어 다양한 화학계에서의 일반화 검증 필요
• 특정 MACE 아키텍처에 한정된 연구로, 다른 파운데이션 모델(예: SchNet, NequIP)에 대한 확장성 미확인
• 후보 풀 생성 방식(NEB, 메타동역학 등)의 편향이 결과에 미치는 영향을 완전히 분리하지 못함
• 계산 비용 비교(NTK 계산 vs. 위원회 앙상블)에 대한 상세 분석 부재
• 온라인 능동학습 설정과의 비교 연구로 실제 분자동역학 시뮬레이션 시나리오에서의 성능 검증 필요

Evaluation

총평: 사전학습된 MLIP의 잠재 공간이 능동학습에 충분한 정보를 이미 포함할 수 있다는 강력한 가설을 체계적으로 검증하며, 실무적이고 효율적인 획득 신호를 제시한다. 반응화학에서의 데이터 효율성 개선은 의미있지만, 다양한 모델과 화학계에 대한 일반화 검증이 추가되면 영향력이 더욱 확대될 것으로 판단된다.