AutoMat：エージェントツール活用による顕微鏡画像からの自動結晶構造再構築

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

May 19, 2025

著者: Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei

cs.AI

要旨

機械学習に基づく原子間ポテンシャルや力場は、正確な原子構造に大きく依存していますが、実験的に決定された結晶構造の利用可能性が限られているため、そのようなデータは不足しています。原子分解能電子顕微鏡は構造データの潜在的な供給源となりますが、これらの画像をシミュレーション対応の形式に変換する作業は依然として手間がかかり、エラーが発生しやすいため、モデルのトレーニングと検証のボトルネックとなっています。本論文では、走査型透過電子顕微鏡（STEM）画像を自動的に原子結晶構造に変換し、その物理的特性を予測するエンドツーエンドのエージェント支援パイプラインであるAutoMatを紹介します。AutoMatは、パターン適応型ノイズ除去、物理に基づくテンプレート検索、対称性を考慮した原子再構成、MatterSimによる高速緩和と特性予測、およびすべての段階にわたる調整されたオーケストレーションを組み合わせています。本タスク専用の最初のベンチマークであるSTEM2Mat-Benchを提案し、格子RMSD、生成エネルギーMAE、構造マッチング成功率を用いて性能を評価します。外部ツール呼び出しをオーケストレーションすることで、AutoMatはテキストのみの大規模言語モデル（LLM）がこの領域で視覚言語モデルを上回り、パイプライン全体にわたる閉ループ推論を実現します。450以上の構造サンプルにわたる大規模な実験において、AutoMatは既存のマルチモーダル大規模言語モデルやツールを大幅に上回る性能を示しました。これらの結果は、AutoMatとSTEM2Mat-Benchの有効性を検証し、材料科学における顕微鏡と原子シミュレーションの橋渡しに向けた重要な一歩を示しています。コードとデータセットは、https://github.com/yyt-2378/AutoMat および https://huggingface.co/datasets/yaotianvector/STEM2Mat で公開されています。

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.