Los modelos de lenguaje ajustados generan materiales inorgánicos estables como texto.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Autores: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Resumen

Proponemos el ajuste fino de modelos de lenguaje grandes para la generación de materiales estables. Aunque poco convencional, el ajuste fino de modelos de lenguaje grandes en datos atomísticos codificados en texto es simple de implementar y confiable, con aproximadamente el 90% de las estructuras muestreadas cumpliendo las restricciones físicas sobre las posiciones y cargas de los átomos. Utilizando cálculos de energía sobre el casco tanto de potenciales de aprendizaje automático aprendidos como de cálculos DFT de referencia, demostramos que nuestro modelo más potente (LLaMA-2 70B ajustado fino) puede generar materiales predichos como metaestables a aproximadamente el doble de la tasa (49% frente a 28%) que CDVAE, un modelo de difusión competidor. Debido a la flexibilidad inherente de los prompts de texto, nuestros modelos pueden usarse simultáneamente para la generación incondicional de materiales estables, el relleno de estructuras parciales y la generación condicionada por texto. Finalmente, mostramos que la capacidad de los modelos de lenguaje para capturar simetrías clave de las estructuras cristalinas mejora con la escala del modelo, sugiriendo que los sesgos de los LLM preentrenados son sorprendentemente adecuados para datos atomísticos.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.