Les modèles de langage affinés génèrent des matériaux inorganiques stables sous forme de texte.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Auteurs: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Résumé

Nous proposons d'affiner des modèles de langage de grande taille pour la génération de matériaux stables. Bien que non conventionnel, l'affinage de ces modèles sur des données atomistiques encodées en texte est simple à mettre en œuvre tout en étant fiable, avec environ 90 % des structures échantillonnées respectant les contraintes physiques sur les positions des atomes et les charges. En utilisant des calculs d'énergie au-dessus du diagramme de phases issus à la fois de potentiels appris par apprentissage automatique et de calculs DFT de référence, nous montrons que notre modèle le plus performant (LLaMA-2 70B affiné) peut générer des matériaux prédits comme métastables à un taux environ deux fois supérieur (49 % contre 28 %) à celui de CDVAE, un modèle de diffusion concurrent. Grâce à la flexibilité inhérente à l'utilisation de prompts textuels, nos modèles peuvent simultanément être utilisés pour la génération inconditionnelle de matériaux stables, le remplissage de structures partielles et la génération conditionnée par du texte. Enfin, nous montrons que la capacité des modèles de langage à capturer les symétries clés des structures cristallines s'améliore avec l'échelle du modèle, suggérant que les biais des modèles de langage pré-entraînés sont étonnamment bien adaptés aux données atomistiques.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.