AutoMat: Habilitando a Reconstrução Automatizada de Estruturas Cristalinas a partir de Microscopia por meio do Uso de Ferramentas Agentes

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

Autores: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

Resumo

Potenciais interatômicos e campos de força baseados em aprendizado de máquina dependem criticamente de estruturas atômicas precisas, mas tais dados são escassos devido à disponibilidade limitada de cristais resolvidos experimentalmente. Embora a microscopia eletrônica de resolução atômica ofereça uma fonte potencial de dados estruturais, a conversão dessas imagens em formatos prontos para simulação permanece trabalhosa e propensa a erros, criando um gargalo para o treinamento e validação de modelos. Apresentamos o AutoMat, um pipeline de ponta a ponta assistido por agentes que transforma automaticamente imagens de microscopia eletrônica de varredura por transmissão (STEM) em estruturas cristalinas atômicas e prevê suas propriedades físicas. O AutoMat combina redução de ruído adaptativa a padrões, recuperação de modelos guiada por física, reconstrução atômica com consciência de simetria, relaxamento rápido e previsão de propriedades via MatterSim, além de orquestração coordenada em todas as etapas. Propomos o primeiro STEM2Mat-Bench dedicado a essa tarefa e avaliamos o desempenho usando o RMSD da rede, o MAE da energia de formação e a taxa de sucesso no emparelhamento de estruturas. Ao orquestrar chamadas de ferramentas externas, o AutoMat permite que um LLM baseado apenas em texto supere modelos de linguagem-visão nesse domínio, alcançando raciocínio em loop fechado ao longo do pipeline. Em experimentos em larga escala com mais de 450 amostras de estruturas, o AutoMat supera substancialmente os modelos de linguagem multimodal e ferramentas existentes. Esses resultados validam tanto o AutoMat quanto o STEM2Mat-Bench, marcando um passo crucial para conectar a microscopia e a simulação atomística na ciência dos materiais. O código e o conjunto de dados estão disponíveis publicamente em https://github.com/yyt-2378/AutoMat e https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.