Búsqueda Generativa de Materiales Jerárquicos

Generative Hierarchical Materials Search

September 10, 2024

Autores: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Resumen

Los modelos generativos entrenados a gran escala pueden ahora producir texto, video y, más recientemente, datos científicos como estructuras cristalinas. En aplicaciones de enfoques generativos a la ciencia de materiales, y en particular a las estructuras cristalinas, la orientación del experto en el dominio en forma de instrucciones de alto nivel puede ser esencial para que un sistema automatizado genere cristales candidatos viables para investigaciones posteriores. En este trabajo, formulamos la generación de lenguaje a estructura de extremo a extremo como un problema de optimización multiobjetivo, y proponemos la Búsqueda Jerárquica Generativa de Materiales (GenMS) para la generación controlable de estructuras cristalinas. GenMS consta de (1) un modelo de lenguaje que recibe lenguaje natural de alto nivel como entrada y genera información textual intermedia sobre un cristal (por ejemplo, fórmulas químicas), y (2) un modelo de difusión que recibe información intermedia como entrada y genera estructuras cristalinas de valor continuo a bajo nivel. GenMS además utiliza una red neuronal gráfica para predecir propiedades (por ejemplo, energía de formación) a partir de las estructuras cristalinas generadas. Durante la inferencia, GenMS aprovecha los tres componentes para realizar una búsqueda en árbol hacia adelante sobre el espacio de posibles estructuras. Los experimentos muestran que GenMS supera a otras alternativas de usar directamente modelos de lenguaje para generar estructuras tanto en satisfacer las solicitudes del usuario como en generar estructuras de baja energía. Confirmamos que GenMS es capaz de generar estructuras cristalinas comunes como perovskitas dobles o espinelas, únicamente a partir de entradas de lenguaje natural, y por lo tanto puede sentar las bases para una generación de estructuras más complejas en un futuro cercano.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.