Fijn afgestelde taalmodelen genereren stabiele anorganische materialen als tekst.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Auteurs: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Samenvatting

We stellen voor om grote taalmodelen te finetunen voor het genereren van stabiele materialen. Hoewel onorthodox, is het finetunen van grote taalmodelen op tekst-gecodeerde atomistische data eenvoudig te implementeren en toch betrouwbaar, waarbij ongeveer 90% van de gegenereerde structuren voldoet aan fysische beperkingen op atoomposities en ladingen. Met behulp van energie boven hull-berekeningen van zowel geleerde ML-potentialen als goudstandaard DFT-berekeningen, tonen we aan dat ons sterkste model (gefinetuned LLaMA-2 70B) materialen kan genereren waarvan wordt voorspeld dat ze metastabiel zijn met ongeveer het dubbele tempo (49% vs 28%) vergeleken met CDVAE, een concurrerend diffusiemodel. Vanwege de inherente flexibiliteit van tekstprompting, kunnen onze modellen tegelijkertijd worden gebruikt voor onvoorwaardelijke generatie van stabiele materialen, het invullen van gedeeltelijke structuren en tekst-conditionele generatie. Tot slot laten we zien dat het vermogen van taalmodelen om belangrijke symmetrieën van kristalstructuren vast te leggen verbetert met de schaal van het model, wat suggereert dat de biases van vooraf getrainde LLM's verrassend goed geschikt zijn voor atomistische data.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.