AutoMat: Habilitando la Reconstrucción Automatizada de Estructuras Cristalinas a partir de Microscopía mediante el Uso de Herramientas Agénticas

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

Autores: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

Resumen

Los potenciales interatómicos y campos de fuerza basados en aprendizaje automático dependen críticamente de estructuras atómicas precisas, sin embargo, tales datos son escasos debido a la disponibilidad limitada de cristales resueltos experimentalmente. Aunque la microscopía electrónica de resolución atómica ofrece una fuente potencial de datos estructurales, la conversión de estas imágenes en formatos listos para simulación sigue siendo laboriosa y propensa a errores, creando un cuello de botella para el entrenamiento y validación de modelos. Presentamos AutoMat, una pipeline integral asistida por agentes que transforma automáticamente imágenes de microscopía electrónica de transmisión por barrido (STEM) en estructuras cristalinas atómicas y predice sus propiedades físicas. AutoMat combina eliminación de ruido adaptativa a patrones, recuperación de plantillas guiada por física, reconstrucción atómica consciente de la simetría, relajación rápida y predicción de propiedades mediante MatterSim, y orquestación coordinada en todas las etapas. Proponemos el primer STEM2Mat-Bench dedicado a esta tarea y evaluamos el rendimiento utilizando el error cuadrático medio de la red (RMSD), el error absoluto medio de la energía de formación (MAE) y la tasa de éxito en la coincidencia de estructuras. Al orquestar llamadas a herramientas externas, AutoMat permite que un modelo de lenguaje grande (LLM) basado únicamente en texto supere a los modelos de lenguaje-visión en este dominio, logrando un razonamiento de bucle cerrado a lo largo de la pipeline. En experimentos a gran escala con más de 450 muestras de estructuras, AutoMat supera sustancialmente a los modelos de lenguaje grandes multimodales y herramientas existentes. Estos resultados validan tanto a AutoMat como a STEM2Mat-Bench, marcando un paso clave hacia la conexión entre la microscopía y la simulación atomística en la ciencia de materiales. El código y el conjunto de datos están disponibles públicamente en https://github.com/yyt-2378/AutoMat y https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.