Generatieve Hiërarchische Materialen Zoekopdracht

Generative Hierarchical Materials Search

September 10, 2024

Auteurs: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Samenvatting

Generatieve modellen die op grote schaal zijn getraind, kunnen nu tekst, video en, recentelijk, wetenschappelijke gegevens zoals kristalstructuren produceren. In toepassingen van generatieve benaderingen in materiaalkunde, en met name in kristalstructuren, kan de begeleiding van de domeinexpert in de vorm van hoog-niveau instructies essentieel zijn voor een geautomatiseerd systeem om kandidaatkristallen te produceren die geschikt zijn voor vervolgonderzoek. In dit werk formuleren we taal-naar-structuur generatie als een multi-objectief optimalisatieprobleem en stellen we Generative Hierarchical Materials Search (GenMS) voor voor controleerbare generatie van kristalstructuren. GenMS bestaat uit (1) een taalmodel dat hoog-niveau natuurlijke taal als input neemt en tussenliggende tekstuele informatie genereert over een kristal (bijv. chemische formules), en (2) een diffusiemodel dat tussenliggende informatie als input neemt en continue waarde kristalstructuren genereert. GenMS maakt bovendien gebruik van een grafisch neuraal netwerk om eigenschappen (bijv. vormingsenergie) van de gegenereerde kristalstructuren te voorspellen. Tijdens inferentie maakt GenMS gebruik van alle drie de componenten om een voorwaartse boomzoektocht uit te voeren over de mogelijke structuurgebieden. Experimenten tonen aan dat GenMS beter presteert dan andere alternatieven waarbij rechtstreeks taalmodellen worden gebruikt om structuren te genereren, zowel bij het voldoen aan gebruikersverzoeken als bij het genereren van structuren met een lage energie. We bevestigen dat GenMS in staat is om veelvoorkomende kristalstructuren zoals dubbele perovskieten of spinels te genereren, uitsluitend op basis van natuurlijke taalinput, en kan daarmee de basis vormen voor meer complexe structuurgeneratie in de nabije toekomst.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.