AutoMat: Physics-Guided Agentic Reasoning for Solving Ill-Posed Inverse Microscopy Problems

Motivation

• Known: Machine learning interatomic potentials(MLIP)는 ab initio 수준의 정확도로 원자 에너지와 힘을 예측할 수 있으며, STEM은 sub-ångström 해상도로 원자를 이미징할 수 있다. 하지만 STEM 이미지를 정량적 crystal structure로 변환하는 과정은 여전히 전문가 주도의 시간 소모적 annotation에 의존한다.
• Gap: 기존 연구들은 denoising, atom localization, reconstruction, phase classification 등 개별 구성요소에만 초점을 맞춘 파편화된 접근이며 end-to-end 시스템으로 통합되지 않았다. 또한 GPT-4.1-mini, Qwen2.5-VL 같은 범용 multimodal model이나 AtomAI, MicroscopyGPT 같은 domain-specific tool들도 완전한 CIF 구조 복원이나 물성 예측을 지원하지 못하며, DFT급 에너지 라벨을 갖춘 STEM 기반 구조-물성 벤치마크도 부재하다.
• Why: STEM 이미지로부터 원자 단위 구조를 자동 완전 복원할 수 있다면, 실험적 특성화(microscopic characterization)와 이론적 원자 단위 모델링(atomic-scale modeling) 사이의 근본적 간극을 메워 재료과학 연구의 검증 및 발견 속도를 크게 높일 수 있다.
• Approach: AutoMat은 pattern-adaptive denoising, physics-guided template retrieval, symmetry-constrained atomic reconstruction, MLIP 기반 relaxation/validation의 네 모듈을 language agent가 동적으로 조합하고, 검증 실패 시 rollback-and-retry를 수행하는 failure-aware agentic controller로 구성된다.

Achievement

Figure 4. Visualizing the reasoning gap. We compare models on (Top) a hard synthetic instance and (Bottom) a real-world

1. AutoMat 프레임워크 제안: STEM-to-structure 복원을 inference-time hypothesis search와 closed-loop verification 문제로 정식화하고, 이를 수행하는 physics-aware reasoning controller를 구현했다.
2. 알고리즘적 진보: 다양한 STEM 이미지에 적응적으로 대응하는 pattern-adaptive denoiser인 MOE-DIVAESR과, 대칭성 및 물리적 제약을 이용해 최소 반복 단위를 식별하고 표준 CIF로 변환하는 STEM2CIF를 개발했다.
3. STEM2Mat-Bench 벤치마크 구축: C2DB, Materials Project, OpenCrystal에서 2,143개 monolayer 구조를 큐레이션하고 abTEM으로 iDPC-STEM 이미지를 시뮬레이션하여 459개의 대표 image-structure 쌍으로 구성된 벤치마크와 통일된 평가 지표(lattice RMSD, formation energy MAE, structure matching accuracy, 강건성, 계산 효율성)를 제공했다.
4. 성능 우위 입증: projected RMSD 0.11 ± 0.03 Å, energy MAE 350 meV/atom 이하, atomic correspondence 성공률 83.2%를 달성하여 GPT-4.1-mini, Qwen-VL, LLama4V, ChemVLM, MicroscopyGPT, AtomAI 등 기존 SOTA 및 domain-specific tool들을 큰 차이로(order of magnitude) 능가했다.

How

Figure 3. AutoMat’s reasoning controller composes four stages—denoising, template matching, structure reconstruction, an

• Pattern-Adaptive STEM Image Denoising: ResNet-18 기반 gating network가 입력 이미지의 추정 노이즈 수준에 따라 최적의 expert network를 선택하는 mixture-of-experts 구조인 MOE-DIVAESR을 적용해 denoising, inpainting, super-resolution을 통합 수행
• Physics-Guided Template Retrieval: 강화된 이미지를 대규모 simulated STEM projection 라이브러리와 pixel similarity 및 elemental contrast pattern으로 매칭하여 state-dependent auxiliary branch 형태의 구조적 prior를 생성
• Symmetry-Constrained Structure Reconstruction (STEM2CIF): unsupervised clustering으로 원자 피크를 검출하고, symmetry constraint 하에서 lattice를 fitting하며 candidate에 기반해 원소를 할당한 뒤 표준 CIF 파일 생성
• Energy Evaluation via MLIP: 사전학습된 MatterSim potential로 복원된 구조를 relax하여 formation energy를 예측
• language agent가 각 단계의 quality check 결과에 따라 도구 실행을 계획하고 실패한 단계를 rollback-and-retry하는 closed-loop verification workflow 운용

Originality

• STEM-to-structure 복원을 단순 feed-forward 예측이 아닌 inference-time hypothesis search + closed-loop verification 문제로 재정식화한 최초의 agentic controller 설계
• 물리적 검증(MLIP 기반 relaxation)을 파이프라인 내부에 직접 통합하여 실패 시 rollback-and-retry를 트리거하는 failure-aware 구조
• template retrieval을 고정 전처리가 아닌 state-dependent auxiliary branch로 사용해 검색된 prior를 동적으로 조건부 활용
• DFT급 에너지 라벨과 다중 원소 2D crystal을 포함하는 STEM2Mat-Bench라는 새로운 표준화된 벤치마크 제시

Limitation & Further Study

• 벤치마크가 monolayer 2D 구조에 한정되어 있어 3D bulk 구조나 다층 이종구조로의 일반화 가능성이 검증되지 않았다
• 실험적으로 얻은 실제 noisy STEM 이미지가 아닌 abTEM 시뮬레이션 기반 이미지로 평가가 이루어져 실제 실험 조건과의 domain gap이 존재할 수 있다
• MLIP(MatterSim)의 정확도에 에너지 평가 성능이 의존적이므로, 학습 분포를 벗어난 화학종이나 결함 구조에서는 신뢰도가 저하될 수 있다
• rollback-and-retry 메커니즘의 계산 비용 및 반복 횟수에 따른 효율성 trade-off에 대한 심층 분석이 추가로 필요하다

Evaluation

총평: STEM 이미지로부터 물리적으로 검증된 결정 구조를 자동 복원하는 최초의 failure-aware agentic 시스템과 이를 평가할 표준 벤치마크를 함께 제시한 실용적이고 임팩트 있는 연구이나, 실제 실험 이미지에 대한 검증과 3D/다층 구조로의 확장성 검토가 추가로 필요하다.