생성적 계층적 재료 탐색

Generative Hierarchical Materials Search

September 10, 2024

저자: Sherry Yang, Simon Batzner, Ruiqi Gao, Muratahan Aykol, Alexander L. Gaunt, Brendan McMorrow, Danilo J. Rezende, Dale Schuurmans, Igor Mordatch, Ekin D. Cubuk

cs.AI

초록

대규모로 훈련된 생성 모델은 이제 텍스트, 비디오, 그리고 더 최근에는 결정 구조와 같은 과학 데이터를 생성할 수 있습니다. 재료 과학에 생성적 방법을 응용하고 특히 결정 구조에 대한 경우, 도메인 전문가의 고수준 지침은 자동 시스템이 후속 연구에 유용한 후보 결정을 출력하는 데 필수적일 수 있습니다. 본 연구에서는 언어-구조 생성을 다중 목적 최적화 문제로 정의하고 제어 가능한 결정 구조 생성을 위해 생성적 계층 재료 검색(GenMS)을 제안합니다. GenMS는 (1) 고수준 자연어를 입력으로 받아 결정에 대한 중간 텍스트 정보(예: 화학식)를 생성하는 언어 모델과, (2) 중간 정보를 입력으로 받아 저수준 연속 값 결정 구조를 생성하는 확산 모델로 구성됩니다. GenMS는 또한 생성된 결정 구조로부터 특성(예: 생성 에너지)을 예측하기 위해 그래프 신경망을 활용합니다. 추론 과정에서 GenMS는 가능한 구조 공간에서 전방 트리 탐색을 수행하기 위해 세 가지 구성 요소를 활용합니다. 실험 결과는 GenMS가 사용자 요청을 충족시키고 저에너지 구조를 생성하는 측면에서 언어 모델을 직접 사용하는 다른 대안을 능가함을 보여줍니다. GenMS가 자연어 입력만으로 이중 페로브스카이트나 스피넬과 같은 일반적인 결정 구조를 생성할 수 있으며, 이는 가까운 미래에 더 복잡한 구조 생성의 기초를 형성할 수 있음을 확인합니다.

English

Generative models trained at scale can now produce text, video, and more recently, scientific data such as crystal structures. In applications of generative approaches to materials science, and in particular to crystal structures, the guidance from the domain expert in the form of high-level instructions can be essential for an automated system to output candidate crystals that are viable for downstream research. In this work, we formulate end-to-end language-to-structure generation as a multi-objective optimization problem, and propose Generative Hierarchical Materials Search (GenMS) for controllable generation of crystal structures. GenMS consists of (1) a language model that takes high-level natural language as input and generates intermediate textual information about a crystal (e.g., chemical formulae), and (2) a diffusion model that takes intermediate information as input and generates low-level continuous value crystal structures. GenMS additionally uses a graph neural network to predict properties (e.g., formation energy) from the generated crystal structures. During inference, GenMS leverages all three components to conduct a forward tree search over the space of possible structures. Experiments show that GenMS outperforms other alternatives of directly using language models to generate structures both in satisfying user request and in generating low-energy structures. We confirm that GenMS is able to generate common crystal structures such as double perovskites, or spinels, solely from natural language input, and hence can form the foundation for more complex structure generation in near future.