NExT-Mol: 3D 분자 생성에서 3D 확산 모델과 1D 언어 모델의 융합

NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation

February 18, 2025

저자: Zhiyuan Liu, Yanchen Luo, Han Huang, Enzhi Zhang, Sihang Li, Junfeng Fang, Yaorui Shi, Xiang Wang, Kenji Kawaguchi, Tat-Seng Chua

cs.AI

초록

3D 분자 생성은 신약 개발과 소재 설계에 있어 핵심적인 역할을 합니다. 기존 연구들은 연속적인 3D 구조체 모델링의 장점을 활용한 3D 확산 모델에 초점을 맞추었지만, 100% 유효한 분자를 생성할 수 있고 수십억 규모의 1D 분자 데이터셋을 활용할 수 있는 1D SELFIES 기반 언어 모델(LM)의 이점을 간과했습니다. 이러한 장점을 3D 분자 생성에 결합하기 위해, 우리는 NExT-Mol이라는 기초 모델을 제안합니다: 3D 분자 생성을 위한 3D 확산 모델과 1D 언어 모델의 융합. NExT-Mol은 광범위하게 사전 학습된 분자 LM을 사용하여 1D 분자를 생성한 후, 3D 확산 모델을 통해 생성된 분자의 3D 구조체를 예측합니다. 우리는 LM의 모델 크기를 확장하고, 확산 신경망 아키텍처를 개선하며, 1D에서 3D로의 전이 학습을 적용하여 NExT-Mol의 성능을 향상시켰습니다. 특히, 우리의 1D 분자 LM은 유효성을 보장하면서 분포 유사성에서 기준 모델을 크게 능가하며, 3D 확산 모델은 구조체 예측에서 최고 수준의 성능을 달성합니다. 이러한 1D 및 3D 모델링의 개선을 통해, NExT-Mol은 GEOM-DRUGS 데이터셋에서 de novo 3D 생성에 대해 3D FCD에서 26%의 상대적 개선을, QM9-2014 데이터셋에서 조건부 3D 생성에 대해 평균 13%의 상대적 이득을 달성했습니다. 우리의 코드와 사전 학습된 체크포인트는 https://github.com/acharkq/NExT-Mol에서 확인할 수 있습니다.

English

3D molecule generation is crucial for drug discovery and material design. While prior efforts focus on 3D diffusion models for their benefits in modeling continuous 3D conformers, they overlook the advantages of 1D SELFIES-based Language Models (LMs), which can generate 100% valid molecules and leverage the billion-scale 1D molecule datasets. To combine these advantages for 3D molecule generation, we propose a foundation model -- NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation. NExT-Mol uses an extensively pretrained molecule LM for 1D molecule generation, and subsequently predicts the generated molecule's 3D conformers with a 3D diffusion model. We enhance NExT-Mol's performance by scaling up the LM's model size, refining the diffusion neural architecture, and applying 1D to 3D transfer learning. Notably, our 1D molecule LM significantly outperforms baselines in distributional similarity while ensuring validity, and our 3D diffusion model achieves leading performances in conformer prediction. Given these improvements in 1D and 3D modeling, NExT-Mol achieves a 26% relative improvement in 3D FCD for de novo 3D generation on GEOM-DRUGS, and a 13% average relative gain for conditional 3D generation on QM9-2014. Our codes and pretrained checkpoints are available at https://github.com/acharkq/NExT-Mol.