AutoMat: Automatisierte Rekonstruktion von Kristallstrukturen aus Mikroskopieaufnahmen durch agentenbasierten Werkzeugeinsatz

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

Autoren: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

Zusammenfassung

Maschinelles Lernen-basierte interatomare Potentiale und Kraftfelder hängen kritisch von präzisen atomaren Strukturen ab, doch solche Daten sind aufgrund der begrenzten Verfügbarkeit experimentell aufgelöster Kristalle rar. Obwohl atomauflösende Elektronenmikroskopie eine potenzielle Quelle für Strukturdaten bietet, bleibt die Umwandlung dieser Bilder in simulationsfähige Formate arbeitsintensiv und fehleranfällig, was einen Engpass für das Modelltraining und die Validierung darstellt. Wir stellen AutoMat vor, eine End-to-End, agentenunterstützte Pipeline, die automatisch Rastertransmissionselektronenmikroskopie (STEM)-Bilder in atomare Kristallstrukturen umwandelt und deren physikalische Eigenschaften vorhersagt. AutoMat kombiniert musteradaptive Rauschunterdrückung, physikgeleitete Template-Rekonstruktion, symmetriebewusste atomare Rekonstruktion, schnelle Relaxation und Eigenschaftsvorhersage via MatterSim sowie koordinierte Orchestrierung über alle Stufen hinweg. Wir schlagen den ersten dedizierten STEM2Mat-Bench für diese Aufgabe vor und bewerten die Leistung anhand von Gitter-RMSD, Bildungsenergie-MAE und Strukturübereinstimmungsrate. Durch die Orchestrierung externer Tool-Aufrufe ermöglicht AutoMat einem textbasierten LLM, in diesem Bereich Vision-Sprach-Modelle zu übertreffen und geschlossene Schlussfolgerungen über die gesamte Pipeline hinweg zu erreichen. In groß angelegten Experimenten mit über 450 Strukturproben übertrifft AutoMat bestehende multimodale Large Language Models und Tools deutlich. Diese Ergebnisse validieren sowohl AutoMat als auch STEM2Mat-Bench und markieren einen wichtigen Schritt hin zur Überbrückung von Mikroskopie und atomarer Simulation in der Materialwissenschaft. Der Code und der Datensatz sind öffentlich verfügbar unter https://github.com/yyt-2378/AutoMat und https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.