미세 조정된 언어 모델은 텍스트로 안정적인 무기 물질을 생성한다.

초록

우리는 안정적인 물질 생성을 위해 대규모 언어 모델을 미세 조정하는 방법을 제안한다. 비전통적인 방법이지만, 텍스트로 인코딩된 원자 데이터에 대해 대규모 언어 모델을 미세 조정하는 것은 구현이 간단하면서도 신뢰할 수 있으며, 샘플링된 구조의 약 90%가 원자 위치와 전하에 대한 물리적 제약 조건을 준수한다. 학습된 머신러닝 포텐셜과 금본위 DFT 계산을 통해 얻은 에너지 상한 계산을 사용하여, 우리의 가장 강력한 모델(미세 조정된 LLaMA-2 70B)이 경쟁적인 확산 모델인 CDVAE보다 약 두 배 높은 비율(49% 대 28%)로 예측된 준안정 물질을 생성할 수 있음을 보여준다. 텍스트 프롬프트의 본질적인 유연성 덕분에, 우리의 모델은 안정적인 물질의 무조건적 생성, 부분 구조의 채우기, 그리고 텍스트 조건부 생성에 동시에 사용될 수 있다. 마지막으로, 언어 모델이 결정 구조의 주요 대칭성을 포착하는 능력이 모델 규모에 따라 향상됨을 보여주며, 이는 사전 학습된 대규모 언어 모델의 편향이 원자 데이터에 놀랍도록 잘 맞는다는 것을 시사한다.

English

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.

미세 조정된 언어 모델은 텍스트로 안정적인 무기 물질을 생성한다.

Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

초록

Support