Feinabgestimmte Sprachmodelle generieren stabile anorganische Materialien als Text.
Fine-Tuned Language Models Generate Stable Inorganic Materials as Text
February 6, 2024
Autoren: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi
cs.AI
Zusammenfassung
Wir schlagen das Feinabstimmen großer Sprachmodelle für die Generierung stabiler Materialien vor. Obwohl unkonventionell, ist das Feinabstimmen großer Sprachmodelle auf textkodierte atomistische Daten einfach zu implementieren und dennoch zuverlässig, wobei etwa 90 % der generierten Strukturen physikalische Beschränkungen bezüglich Atompositionen und Ladungen einhalten. Mithilfe von Energie-above-hull-Berechnungen sowohl aus gelernten ML-Potenzialen als auch aus Goldstandard-DFT-Berechnungen zeigen wir, dass unser stärkstes Modell (feinabgestimmtes LLaMA-2 70B) Materialien generieren kann, die mit etwa der doppelten Rate (49 % vs. 28 %) als metastabil vorhergesagt werden im Vergleich zu CDVAE, einem konkurrierenden Diffusionsmodell. Aufgrund der inhärenten Flexibilität von Textprompts können unsere Modelle gleichzeitig für die bedingungslose Generierung stabiler Materialien, das Ergänzen partieller Strukturen und die textbedingte Generierung verwendet werden. Schließlich zeigen wir, dass die Fähigkeit von Sprachmodellen, Schlüsselsymmetrien von Kristallstrukturen zu erfassen, mit der Modellgröße zunimmt, was darauf hindeutet, dass die Voreinstellungen vortrainierter LLMs überraschend gut für atomistische Daten geeignet sind.
English
We propose fine-tuning large language models for generation of stable
materials. While unorthodox, fine-tuning large language models on text-encoded
atomistic data is simple to implement yet reliable, with around 90% of sampled
structures obeying physical constraints on atom positions and charges. Using
energy above hull calculations from both learned ML potentials and
gold-standard DFT calculations, we show that our strongest model (fine-tuned
LLaMA-2 70B) can generate materials predicted to be metastable at about twice
the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text
prompting's inherent flexibility, our models can simultaneously be used for
unconditional generation of stable material, infilling of partial structures
and text-conditional generation. Finally, we show that language models' ability
to capture key symmetries of crystal structures improves with model scale,
suggesting that the biases of pretrained LLMs are surprisingly well-suited for
atomistic data.