PhononBench: Een grootschalige op fononen gebaseerde benchmark voor dynamische stabiliteit in kristalgeneratie
PhononBench:A Large-Scale Phonon-Based Benchmark for Dynamical Stability in Crystal Generation
December 24, 2025
Auteurs: Xiao-Qi Han, Ze-Feng Gao, Peng-Jie Guo, Zhong-Yi Lu
cs.AI
Samenvatting
In dit werk introduceren we PhononBench, de eerste grootschalige benchmark voor dynamische stabiliteit in door AI gegenereerde kristallen. Door gebruik te maken van het recent ontwikkelde MatterSim interatomair potentieel, dat DFT-nauwkeurigheid bereikt in fononvoorspellingen voor meer dan 10.000 materialen, maakt PhononBench efficiënte grootschalige fononberekeningen en dynamische-stabiliteitsanalyse mogelijk voor 108.843 kristalstructuren gegenereerd door zes toonaangevende kristalgeneratiemodellen. PhononBench onthult een wijdverbreide beperking van huidige generatieve modellen in het waarborgen van dynamische stabiliteit: het gemiddelde dynamische-stabiliteitspercentage over alle gegenereerde structuren is slechts 25,83%, waarbij het best presterende model, MatterGen, slechts 41,0% bereikt. Verdere casestudies tonen aan dat bij eigenschap-gerichte generatie – hier geïllustreerd door bandkapsconditionering met MatterGen – het dynamische-stabiliteitspercentage zelfs bij de optimale bandkapsconditie van 0,5 eV zo laag blijft als 23,5%. Bij ruimtegroep-gestuurde generatie vertonen kristallen met hogere symmetrie betere stabiliteit (bijvoorbeeld kubische systemen behalen percentages tot 49,2%), maar de gemiddelde stabiliteit over alle gestuurde generaties is nog steeds slechts 34,4%. Een belangrijk additioneel resultaat van deze studie is de identificatie van 28.119 kristalstructuren die fononstabiel zijn over de gehele Brillouinzone, wat een aanzienlijke pool van betrouwbare kandidaten biedt voor toekomstige materiaalverkenning. Door de eerste grootschalige dynamische-stabiliteitsbenchmark vast te stellen, benadrukt dit werk systematisch de huidige beperkingen van kristalgeneratiemodellen en biedt het essentiële evaluatiecriteria en richtlijnen voor hun toekomstige ontwikkeling richting het ontwerp en de ontdekking van fysisch haalbare materialen. Alle modelgegenereerde kristalstructuren, fononberekeningsresultaten en de high-throughput evaluatieworkflows ontwikkeld in PhononBench zullen openbaar worden vrijgegeven op https://github.com/xqh19970407/PhononBench.
English
In this work, we introduce PhononBench, the first large-scale benchmark for dynamical stability in AI-generated crystals. Leveraging the recently developed MatterSim interatomic potential, which achieves DFT-level accuracy in phonon predictions across more than 10,000 materials, PhononBench enables efficient large-scale phonon calculations and dynamical-stability analysis for 108,843 crystal structures generated by six leading crystal generation models. PhononBench reveals a widespread limitation of current generative models in ensuring dynamical stability: the average dynamical-stability rate across all generated structures is only 25.83%, with the top-performing model, MatterGen, reaching just 41.0%. Further case studies show that in property-targeted generation-illustrated here by band-gap conditioning with MatterGen--the dynamical-stability rate remains as low as 23.5% even at the optimal band-gap condition of 0.5 eV. In space-group-controlled generation, higher-symmetry crystals exhibit better stability (e.g., cubic systems achieve rates up to 49.2%), yet the average stability across all controlled generations is still only 34.4%. An important additional outcome of this study is the identification of 28,119 crystal structures that are phonon-stable across the entire Brillouin zone, providing a substantial pool of reliable candidates for future materials exploration. By establishing the first large-scale dynamical-stability benchmark, this work systematically highlights the current limitations of crystal generation models and offers essential evaluation criteria and guidance for their future development toward the design and discovery of physically viable materials. All model-generated crystal structures, phonon calculation results, and the high-throughput evaluation workflows developed in PhononBench will be openly released at https://github.com/xqh19970407/PhononBench