Ricerca generativa di materiali gerarchici

Generative Hierarchical Materials Search

September 10, 2024

Autori: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Abstract

I modelli generativi addestrati su larga scala possono ora produrre testo, video e, più recentemente, dati scientifici come le strutture cristalline. Nelle applicazioni degli approcci generativi alla scienza dei materiali, e in particolare alle strutture cristalline, l'orientamento dell'esperto del settore sotto forma di istruzioni di alto livello può essere essenziale affinché un sistema automatizzato produca cristalli candidati che siano validi per la ricerca successiva. In questo lavoro, formuliamo la generazione di linguaggio-struttura end-to-end come un problema di ottimizzazione multi-obiettivo e proponiamo Generative Hierarchical Materials Search (GenMS) per la generazione controllata di strutture cristalline. GenMS è composto da (1) un modello linguistico che prende in input linguaggio naturale di alto livello e genera informazioni testuali intermedie su un cristallo (ad esempio, formule chimiche), e (2) un modello di diffusione che prende informazioni intermedie in input e genera strutture cristalline a valori continui a basso livello. GenMS utilizza inoltre una rete neurale grafica per prevedere le proprietà (ad esempio, energia di formazione) dalle strutture cristalline generate. Durante l'inferenza, GenMS sfrutta tutti e tre i componenti per condurre una ricerca ad albero in avanti sullo spazio delle possibili strutture. Gli esperimenti mostrano che GenMS supera altre alternative che utilizzano direttamente modelli linguistici per generare strutture sia nel soddisfare le richieste dell'utente sia nella generazione di strutture a bassa energia. Confermiamo che GenMS è in grado di generare strutture cristalline comuni come perovskiti doppie o spinelli, esclusivamente da input di linguaggio naturale, e quindi può costituire la base per una generazione di strutture più complesse in un prossimo futuro.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.