Recherche de Matériaux Génératifs Hiérarchiques

Generative Hierarchical Materials Search

September 10, 2024

Auteurs: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Résumé

Les modèles génératifs entraînés à grande échelle peuvent désormais produire du texte, de la vidéo, et plus récemment, des données scientifiques telles que des structures cristallines. Dans les applications des approches génératives en science des matériaux, et en particulier dans le domaine des structures cristallines, les conseils de l'expert du domaine sous forme d'instructions de haut niveau peuvent être essentiels pour qu'un système automatisé produise des cristaux candidats viables pour la recherche ultérieure. Dans ce travail, nous formulons la génération de langage vers structure de bout en bout comme un problème d'optimisation multi-objectif, et proposons la Recherche de Matériaux Hiérarchique Générative (GenMS) pour une génération contrôlable de structures cristallines. GenMS se compose de (1) un modèle de langage qui prend un langage naturel de haut niveau en entrée et génère des informations textuelles intermédiaires sur un cristal (par exemple, des formules chimiques), et (2) un modèle de diffusion qui prend des informations intermédiaires en entrée et génère des structures cristallines de valeurs continues de bas niveau. GenMS utilise également un réseau neuronal graphique pour prédire des propriétés (par exemple, l'énergie de formation) à partir des structures cristallines générées. Lors de l'inférence, GenMS exploite ces trois composants pour effectuer une recherche arborescente en avant sur l'espace des structures possibles. Les expériences montrent que GenMS surpasse d'autres alternatives consistant à utiliser directement des modèles de langage pour générer des structures, à la fois pour satisfaire les demandes des utilisateurs et pour générer des structures à faible énergie. Nous confirmons que GenMS est capable de générer des structures cristallines courantes telles que les double pérovskites ou les spinelles, uniquement à partir d'entrées en langage naturel, et peut ainsi servir de base pour une génération de structures plus complexes dans un avenir proche.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.