生成階層的な素材検索

Generative Hierarchical Materials Search

September 10, 2024

著者: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

要旨

規模で訓練された生成モデルは、テキスト、ビデオ、そしてより最近では、結晶構造などの科学データを生成することができるようになりました。生成手法を材料科学、特に結晶構造へ応用する際、ドメイン専門家からの指導が高レベルの指示として自動システムが後段の研究に適した候補結晶を出力するために不可欠であることがあります。本研究では、言語から構造への生成を多目的最適化問題として定式化し、制御可能な結晶構造の生成のためにGenerative Hierarchical Materials Search (GenMS)を提案します。GenMSは、(1) 高レベルの自然言語を入力として受け取り、結晶に関する中間テキスト情報（化学式など）を生成する言語モデル、および (2) 中間情報を入力として受け取り、低レベルの連続値結晶構造を生成する拡散モデルから構成されています。GenMSは、生成された結晶構造から特性（生成エネルギーなど）を予測するためにグラフニューラルネットワークも利用します。推論時には、GenMSは可能な構造の空間に対して前向き木探索を行うためにこれらの3つのコンポーネントを活用します。実験結果は、GenMSがユーザー要求を満たす点や低エネルギー構造を生成する点で、言語モデルを直接使用する他の代替手法を上回ることを示しています。GenMSが、自然言語の入力だけから二重ペロブスカイトやスピネルなどの一般的な結晶構造を生成できることを確認し、これにより将来的により複雑な構造生成の基盤となり得ることを確認しています。

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.