Busca Hierárquica Generativa de Materiais

Generative Hierarchical Materials Search

September 10, 2024

Autores: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Resumo

Modelos generativos treinados em escala agora podem produzir texto, vídeo e, mais recentemente, dados científicos, como estruturas cristalinas. Nas aplicações de abordagens generativas para a ciência dos materiais, e em particular para estruturas cristalinas, a orientação do especialista do domínio na forma de instruções de alto nível pode ser essencial para um sistema automatizado gerar cristais candidatos viáveis para pesquisas posteriores. Neste trabalho, formulamos a geração de linguagem para estrutura como um problema de otimização multiobjetivo e propomos a Busca Hierárquica Generativa de Materiais (GenMS) para geração controlável de estruturas cristalinas. GenMS consiste em (1) um modelo de linguagem que recebe linguagem natural de alto nível como entrada e gera informações textuais intermediárias sobre um cristal (por exemplo, fórmulas químicas), e (2) um modelo de difusão que recebe informações intermediárias como entrada e gera estruturas cristalinas contínuas de baixo nível. GenMS também utiliza uma rede neural gráfica para prever propriedades (por exemplo, energia de formação) a partir das estruturas cristalinas geradas. Durante a inferência, GenMS aproveita os três componentes para realizar uma busca em árvore avançada sobre o espaço de possíveis estruturas. Experimentos mostram que GenMS supera outras alternativas de usar diretamente modelos de linguagem para gerar estruturas tanto em atender às solicitações do usuário quanto em gerar estruturas de baixa energia. Confirmamos que GenMS é capaz de gerar estruturas cristalinas comuns, como perovskitas duplas ou espinélios, exclusivamente a partir de entradas de linguagem natural, e, portanto, pode servir de base para geração de estruturas mais complexas em um futuro próximo.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.