NExT-Mol : La diffusion 3D rencontre la modélisation du langage 1D pour la génération de molécules 3D

NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation

February 18, 2025

Auteurs: Zhiyuan Liu, Yanchen Luo, Han Huang, Enzhi Zhang, Sihang Li, Junfeng Fang, Yaorui Shi, Xiang Wang, Kenji Kawaguchi, Tat-Seng Chua

cs.AI

Résumé

La génération de molécules 3D est cruciale pour la découverte de médicaments et la conception de matériaux. Bien que les efforts précédents se concentrent sur les modèles de diffusion 3D pour leurs avantages dans la modélisation des conformères 3D continus, ils négligent les avantages des modèles de langage (LM) basés sur SELFIES 1D, qui peuvent générer des molécules 100% valides et exploiter les ensembles de données de molécules 1D à l'échelle du milliard. Pour combiner ces avantages dans la génération de molécules 3D, nous proposons un modèle de base -- NExT-Mol : La diffusion 3D rencontre la modélisation de langage 1D pour la génération de molécules 3D. NExT-Mol utilise un modèle de langage de molécules pré-entraîné de manière extensive pour la génération de molécules 1D, puis prédit les conformères 3D de la molécule générée avec un modèle de diffusion 3D. Nous améliorons les performances de NExT-Mol en augmentant la taille du modèle LM, en affinant l'architecture neuronale de diffusion, et en appliquant l'apprentissage par transfert de 1D à 3D. Notamment, notre modèle de langage de molécules 1D surpasse significativement les modèles de référence en termes de similarité distributionnelle tout en garantissant la validité, et notre modèle de diffusion 3D atteint des performances de pointe dans la prédiction des conformères. Grâce à ces améliorations dans la modélisation 1D et 3D, NExT-Mol réalise une amélioration relative de 26% en FCD 3D pour la génération de novo 3D sur GEOM-DRUGS, et un gain relatif moyen de 13% pour la génération conditionnelle 3D sur QM9-2014. Nos codes et points de contrôle pré-entraînés sont disponibles à l'adresse https://github.com/acharkq/NExT-Mol.

English

3D molecule generation is crucial for drug discovery and material design. While prior efforts focus on 3D diffusion models for their benefits in modeling continuous 3D conformers, they overlook the advantages of 1D SELFIES-based Language Models (LMs), which can generate 100% valid molecules and leverage the billion-scale 1D molecule datasets. To combine these advantages for 3D molecule generation, we propose a foundation model -- NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation. NExT-Mol uses an extensively pretrained molecule LM for 1D molecule generation, and subsequently predicts the generated molecule's 3D conformers with a 3D diffusion model. We enhance NExT-Mol's performance by scaling up the LM's model size, refining the diffusion neural architecture, and applying 1D to 3D transfer learning. Notably, our 1D molecule LM significantly outperforms baselines in distributional similarity while ensuring validity, and our 3D diffusion model achieves leading performances in conformer prediction. Given these improvements in 1D and 3D modeling, NExT-Mol achieves a 26% relative improvement in 3D FCD for de novo 3D generation on GEOM-DRUGS, and a 13% average relative gain for conditional 3D generation on QM9-2014. Our codes and pretrained checkpoints are available at https://github.com/acharkq/NExT-Mol.