AutoMat: Automatische Reconstructie van Kristalstructuren uit Microscopie mogelijk maken via Agentisch Gereedschapsgebruik

Samenvatting

Machine learning-gebaseerde interatomaire potentialen en krachtvelden zijn kritisch afhankelijk van nauwkeurige atomaire structuren, maar dergelijke data zijn schaars vanwege de beperkte beschikbaarheid van experimenteel opgeloste kristallen. Hoewel atomaire resolutie-elektronenmicroscopie een potentiële bron van structurele data biedt, blijft het omzetten van deze afbeeldingen naar simulatieklare formaten arbeidsintensief en foutgevoelig, wat een knelpunt vormt voor modeltraining en -validatie. Wij introduceren AutoMat, een end-to-end, agent-ondersteunde pijplijn die automatisch scanning transmission electron microscopy (STEM)-afbeeldingen omzet in atomaire kristalstructuren en hun fysische eigenschappen voorspelt. AutoMat combineert patroonadaptieve ruisonderdrukking, fysica-gestuurde sjabloonretrieval, symmetriebewuste atomaire reconstructie, snelle relaxatie en eigenschapvoorspelling via MatterSim, en gecoördineerde orkestratie over alle fasen. Wij stellen de eerste toegewijde STEM2Mat-Bench voor deze taak voor en evalueren de prestaties met behulp van rooster-RMSD, vormingsenergie-MAE en structuurmatchensuccesratio. Door externe toolaanroepen te orkestreren, stelt AutoMat een tekstgebaseerd LLM in staat vision-language-modellen in dit domein te overtreffen, waarbij gesloten-lus redenering door de hele pijplijn wordt bereikt. In grootschalige experimenten over 450 structuurmonsters presteert AutoMat aanzienlijk beter dan bestaande multimodale grote taalmodellen en tools. Deze resultaten valideren zowel AutoMat als STEM2Mat-Bench, wat een belangrijke stap markeert in het overbruggen van microscopie en atomistische simulatie in de materiaalkunde. De code en dataset zijn publiekelijk beschikbaar op https://github.com/yyt-2378/AutoMat en https://huggingface.co/datasets/yaotianvector/STEM2Mat.

English

Machine learning-based interatomic potentials and force fields depend critically on accurate atomic structures, yet such data are scarce due to the limited availability of experimentally resolved crystals. Although atomic-resolution electron microscopy offers a potential source of structural data, converting these images into simulation-ready formats remains labor-intensive and error-prone, creating a bottleneck for model training and validation. We introduce AutoMat, an end-to-end, agent-assisted pipeline that automatically transforms scanning transmission electron microscopy (STEM) images into atomic crystal structures and predicts their physical properties. AutoMat combines pattern-adaptive denoising, physics-guided template retrieval, symmetry-aware atomic reconstruction, fast relaxation and property prediction via MatterSim, and coordinated orchestration across all stages. We propose the first dedicated STEM2Mat-Bench for this task and evaluate performance using lattice RMSD, formation energy MAE, and structure-matching success rate. By orchestrating external tool calls, AutoMat enables a text-only LLM to outperform vision-language models in this domain, achieving closed-loop reasoning throughout the pipeline. In large-scale experiments over 450 structure samples, AutoMat substantially outperforms existing multimodal large language models and tools. These results validate both AutoMat and STEM2Mat-Bench, marking a key step toward bridging microscopy and atomistic simulation in materials science.The code and dataset are publicly available at https://github.com/yyt-2378/AutoMat and https://huggingface.co/datasets/yaotianvector/STEM2Mat.

AutoMat: Automatische Reconstructie van Kristalstructuren uit Microscopie mogelijk maken via Agentisch Gereedschapsgebruik

AutoMat: Enabling Automated Crystal Structure Reconstruction from Microscopy via Agentic Tool Use

Samenvatting

Support