AutoMat: Автоматизированное восстановление кристаллической структуры на основе микроскопии с использованием агентных инструментов

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

Авторы: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

Аннотация

Межмолекулярные потенциалы и силовые поля, основанные на машинном обучении, критически зависят от точных атомных структур, однако такие данные ограничены из-за недостатка экспериментально определенных кристаллов. Хотя атомно-разрешающая электронная микроскопия предлагает потенциальный источник структурных данных, преобразование этих изображений в форматы, пригодные для симуляций, остается трудоемким и подверженным ошибкам, создавая узкое место для обучения и валидации моделей. Мы представляем AutoMat, сквозной конвейер с поддержкой агентов, который автоматически преобразует изображения сканирующей просвечивающей электронной микроскопии (STEM) в атомные кристаллические структуры и предсказывает их физические свойства. AutoMat объединяет адаптивное шумоподавление, поиск шаблонов с учетом физики, симметрийно-осознанную атомную реконструкцию, быстрое релаксирование и предсказание свойств с помощью MatterSim, а также скоординированное управление всеми этапами. Мы предлагаем первый специализированный бенчмарк STEM2Mat-Bench для этой задачи и оцениваем производительность с использованием среднеквадратичного отклонения решетки, средней абсолютной ошибки энергии образования и успешности сопоставления структур. Благодаря координации вызовов внешних инструментов, AutoMat позволяет текстовой языковой модели (LLM) превзойти мультимодальные модели в этой области, обеспечивая замкнутое рассуждение на протяжении всего конвейера. В крупномасштабных экспериментах на 450 образцах структур AutoMat значительно превосходит существующие мультимодальные языковые модели и инструменты. Эти результаты подтверждают как AutoMat, так и STEM2Mat-Bench, отмечая важный шаг на пути к объединению микроскопии и атомного моделирования в материаловедении. Код и набор данных доступны публично по адресам https://github.com/yyt-2378/AutoMat и https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.