Modelos de Linguagem Ajustados Geram Materiais Inorgânicos Estáveis como Texto

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Autores: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Resumo

Propomos o ajuste fino de grandes modelos de linguagem para a geração de materiais estáveis. Embora pouco convencional, o ajuste fino de grandes modelos de linguagem em dados atomísticos codificados em texto é simples de implementar e confiável, com cerca de 90% das estruturas amostradas obedecendo às restrições físicas sobre posições e cargas dos átomos. Utilizando cálculos de energia acima do casco (energy above hull) tanto de potenciais de aprendizado de máquina quanto de cálculos DFT de referência, mostramos que nosso modelo mais robusto (LLaMA-2 70B ajustado) pode gerar materiais previstos como metaestáveis a uma taxa aproximadamente duas vezes maior (49% vs 28%) que o CDVAE, um modelo de difusão concorrente. Devido à flexibilidade inerente do prompting textual, nossos modelos podem ser usados simultaneamente para geração incondicional de materiais estáveis, preenchimento de estruturas parciais e geração condicionada por texto. Por fim, mostramos que a capacidade dos modelos de linguagem de capturar simetrias-chave das estruturas cristalinas melhora com a escala do modelo, sugerindo que os vieses dos LLMs pré-treinados são surpreendentemente adequados para dados atomísticos.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.