Тонко настроенные языковые модели генерируют стабильные неорганические материалы в виде текста.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

February 6, 2024

Авторы: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

cs.AI

Аннотация

Мы предлагаем тонкую настройку крупных языковых моделей для генерации стабильных материалов. Хотя это и нестандартно, тонкая настройка крупных языковых моделей на текстово-закодированных атомарных данных проста в реализации и надежна: около 90% сгенерированных структур соблюдают физические ограничения на позиции атомов и заряды. Используя расчеты энергии выше границы как на основе обученных ML-потенциалов, так и на основе эталонных расчетов DFT, мы показываем, что наша самая мощная модель (тонко настроенная LLaMA-2 70B) может генерировать материалы, предсказанные как метастабильные, с примерно вдвое большей частотой (49% против 28%) по сравнению с CDVAE, конкурирующей диффузионной моделью. Благодаря присущей текстовым запросам гибкости, наши модели могут одновременно использоваться для безусловной генерации стабильных материалов, заполнения частичных структур и текстово-условной генерации. Наконец, мы показываем, что способность языковых моделей улавливать ключевые симметрии кристаллических структур улучшается с увеличением масштаба модели, что свидетельствует о том, что предобученные крупные языковые модели удивительно хорошо подходят для работы с атомарными данными.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.