Поиск генеративных иерархических материалов

Generative Hierarchical Materials Search

September 10, 2024

Авторы: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

Аннотация

Генеративные модели, обученные в масштабе, теперь могут создавать текст, видео и, что более актуально, научные данные, такие как кристаллические структуры. В применениях генеративных подходов в материаловедении, и особенно в отношении кристаллических структур, руководство от предметного эксперта в виде высокоуровневых инструкций может быть существенным для автоматизированной системы в выводе кандидатов кристаллов, пригодных для последующих исследований. В данной работе мы формулируем генерацию структуры из языка как задачу многокритериальной оптимизации и предлагаем Генеративный Иерархический Поиск Материалов (GenMS) для управляемой генерации кристаллических структур. GenMS состоит из (1) языковой модели, которая принимает высокоуровневый естественный язык на входе и генерирует промежуточную текстовую информацию о кристалле (например, химические формулы), и (2) модели диффузии, которая принимает промежуточную информацию на входе и генерирует кристаллические структуры с непрерывными значениями на низком уровне. Кроме того, GenMS использует графовую нейронную сеть для прогнозирования свойств (например, энергии образования) из сгенерированных кристаллических структур. Во время вывода GenMS использует все три компонента для проведения прямого деревянного поиска по пространству возможных структур. Эксперименты показывают, что GenMS превосходит другие альтернативы прямого использования языковых моделей для генерации структур как в удовлетворении запросов пользователя, так и в генерации структур с низкой энергией. Мы подтверждаем, что GenMS способен генерировать общие кристаллические структуры, такие как двойные перовскиты или спинели, исключительно на основе естественного языка, и, следовательно, может стать основой для более сложной генерации структур в ближайшем будущем.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.