Generative Hierarchische Materialsuche

Generative Hierarchical Materials Search

September 10, 2024

Autoren: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Zusammenfassung

Generative Modelle, die im großen Maßstab trainiert werden, können jetzt Texte, Videos und neuerdings auch wissenschaftliche Daten wie Kristallstrukturen erzeugen. In Anwendungen generativer Ansätze in der Materialwissenschaft, insbesondere bei Kristallstrukturen, kann die Anleitung durch den Fachexperten in Form von hochrangigen Anweisungen für ein automatisiertes System entscheidend sein, um Kandidatenkristalle zu erzeugen, die für nachgelagerte Forschungszwecke geeignet sind. In dieser Arbeit formulieren wir die Generierung von Sprache zu Struktur als ein Multi-Objektiv-Optimierungsproblem und schlagen Generative Hierarchische Materialsuche (GenMS) für die kontrollierte Generierung von Kristallstrukturen vor. GenMS besteht aus (1) einem Sprachmodell, das hochrangige natürliche Sprache als Eingabe erhält und Zwischeninformationen über einen Kristall generiert (z. B. chemische Formeln), und (2) einem Diffusionsmodell, das Zwischeninformationen als Eingabe erhält und kontinuierliche Kristallstrukturen mit niedriger Ebene erzeugt. GenMS verwendet zusätzlich ein Graph-Neuronennetzwerk, um Eigenschaften (z. B. Bildungsenergie) aus den generierten Kristallstrukturen vorherzusagen. Während der Inferenz nutzt GenMS alle drei Komponenten, um eine Vorwärtssuche über den Raum möglicher Strukturen durchzuführen. Experimente zeigen, dass GenMS andere Alternativen, die direkt Sprachmodelle zur Generierung von Strukturen verwenden, sowohl in der Erfüllung von Benutzeranforderungen als auch in der Generierung von Niedrigenergiestrukturen übertrifft. Wir bestätigen, dass GenMS in der Lage ist, gängige Kristallstrukturen wie Doppel-Perowskite oder Spinelle ausschließlich aus natürlicher Spracheingabe zu generieren und somit die Grundlage für die Generierung komplexerer Strukturen in naher Zukunft bilden kann.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.