I modelli linguistici affinati generano materiali inorganici stabili come testo.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Autori: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Abstract

Proponiamo il fine-tuning di modelli linguistici di grandi dimensioni per la generazione di materiali stabili. Sebbene non convenzionale, il fine-tuning di modelli linguistici di grandi dimensioni su dati atomistici codificati in testo è semplice da implementare e affidabile, con circa il 90% delle strutture campionate che rispettano i vincoli fisici sulle posizioni degli atomi e sulle cariche. Utilizzando calcoli dell'energia sopra lo scafo sia da potenziali ML appresi che da calcoli DFT di riferimento, dimostriamo che il nostro modello più potente (LLaMA-2 70B con fine-tuning) può generare materiali previsti come metastabili a una frequenza circa doppia (49% vs 28%) rispetto a CDVAE, un modello di diffusione concorrente. Grazie alla flessibilità intrinseca del prompting testuale, i nostri modelli possono essere utilizzati contemporaneamente per la generazione incondizionata di materiali stabili, il riempimento di strutture parziali e la generazione condizionata da testo. Infine, dimostriamo che la capacità dei modelli linguistici di catturare le simmetrie chiave delle strutture cristalline migliora con la scala del modello, suggerendo che i bias dei LLM pre-addestrati sono sorprendentemente adatti ai dati atomistici.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.