AutoMat: 에이전트 도구 활용을 통한 현미경 이미지 기반 결정 구조 자동 재구성

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

저자: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

초록

기계 학습 기반의 원자 간 전위 및 힘장은 정확한 원자 구조에 크게 의존하지만, 실험적으로 결정된 결정 구조의 제한된 가용성으로 인해 이러한 데이터는 부족한 실정이다. 원자 수준 해상도의 전자 현미경은 구조 데이터의 잠재적 원천을 제공하지만, 이러한 이미지를 시뮬레이션에 적합한 형식으로 변환하는 작업은 여전히 노동 집약적이고 오류가 발생하기 쉬워 모델 훈련 및 검증에 있어 병목 현상을 초래한다. 본 연구에서는 스캐닝 투과 전자 현미경(STEM) 이미지를 자동으로 원자 결정 구조로 변환하고 이들의 물리적 특성을 예측하는 종단 간 에이전트 지원 파이프라인인 AutoMat을 소개한다. AutoMat은 패턴 적응형 노이즈 제거, 물리학 기반 템플릿 검색, 대칭 인식 원자 재구성, MatterSim을 통한 빠른 이완 및 특성 예측, 그리고 모든 단계 간의 조율된 오케스트레이션을 결합한다. 본 연구에서는 이 작업을 위해 최초로 전용 STEM2Mat-Bench를 제안하고, 격자 RMSD, 형성 에너지 MAE, 구조 매칭 성공률을 사용하여 성능을 평가한다. 외부 도구 호출을 조율함으로써 AutoMat은 텍스트 전용 대형 언어 모델(LLM)이 이 분야에서 비전-언어 모델을 능가하도록 하여 파이프라인 전반에 걸친 폐쇄형 추론을 가능하게 한다. 450개 이상의 구조 샘플에 대한 대규모 실험에서 AutoMat은 기존의 다중 모드 대형 언어 모델 및 도구를 크게 능가하는 성능을 보였다. 이러한 결과는 AutoMat과 STEM2Mat-Bench의 유효성을 입증하며, 재료 과학에서 현미경과 원자 수준 시뮬레이션을 연결하는 데 있어 중요한 단계를 표시한다. 코드와 데이터셋은 https://github.com/yyt-2378/AutoMat 및 https://huggingface.co/datasets/yaotianvector/STEM2Mat에서 공개적으로 이용 가능하다.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.