AutoMat: Abilitazione della Ricostruzione Automatica della Struttura Cristallina dalla Microscopia tramite Uso Strumentale Agente

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

Autori: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

Abstract

I potenziali interatomici e i campi di forza basati sul machine learning dipendono criticamente da strutture atomiche accurate, tuttavia tali dati sono scarsi a causa della limitata disponibilità di cristalli risolti sperimentalmente. Sebbene la microscopia elettronica a risoluzione atomica offra una potenziale fonte di dati strutturali, la conversione di queste immagini in formati pronti per la simulazione rimane laboriosa e soggetta a errori, creando un collo di bottiglia per l'addestramento e la validazione dei modelli. Introduciamo AutoMat, una pipeline end-to-end assistita da agenti che trasforma automaticamente le immagini di microscopia elettronica a scansione in trasmissione (STEM) in strutture cristalline atomiche e ne prevede le proprietà fisiche. AutoMat combina la riduzione del rumore adattiva ai pattern, il recupero di modelli guidato dalla fisica, la ricostruzione atomica consapevole della simmetria, il rilassamento rapido e la previsione delle proprietà tramite MatterSim, oltre a un'orchestrazione coordinata di tutte le fasi. Proponiamo il primo benchmark dedicato STEM2Mat-Bench per questo compito e valutiamo le prestazioni utilizzando l'RMSD del reticolo, l'errore assoluto medio (MAE) dell'energia di formazione e il tasso di successo nella corrispondenza delle strutture. Orchestrando chiamate a strumenti esterni, AutoMat consente a un LLM basato solo su testo di superare i modelli vision-language in questo dominio, raggiungendo un ragionamento a ciclo chiuso lungo l'intera pipeline. In esperimenti su larga scala su 450 campioni di strutture, AutoMat supera sostanzialmente i modelli e gli strumenti multimodali di grandi dimensioni esistenti. Questi risultati convalidano sia AutoMat che STEM2Mat-Bench, segnando un passo cruciale verso il collegamento tra microscopia e simulazione atomistica nella scienza dei materiali. Il codice e il dataset sono disponibili pubblicamente su https://github.com/yyt-2378/AutoMat e https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.