NExT-Mol: 3D-диффузия встречается с 1D-языковым моделированием для генерации 3D-молекул

NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation

February 18, 2025

Авторы: Zhiyuan Liu, Yanchen Luo, Han Huang, Enzhi Zhang, Sihang Li, Junfeng Fang, Yaorui Shi, Xiang Wang, Kenji Kawaguchi, Tat-Seng Chua

cs.AI

Аннотация

Генерация 3D молекул играет ключевую роль в открытии лекарств и проектировании материалов. Хотя предыдущие исследования сосредоточены на 3D диффузионных моделях благодаря их преимуществам в моделировании непрерывных 3D конформеров, они упускают из виду достоинства 1D языковых моделей (Language Models, LMs), основанных на SELFIES, которые способны генерировать 100% валидные молекулы и использовать миллиардные наборы данных 1D молекул. Чтобы объединить эти преимущества для генерации 3D молекул, мы предлагаем базовую модель — NExT-Mol: 3D диффузия встречается с 1D языковым моделированием для генерации 3D молекул. NExT-Mol использует предварительно обученную молекулярную LM для генерации 1D молекул, а затем предсказывает 3D конформеры сгенерированных молекул с помощью 3D диффузионной модели. Мы улучшаем производительность NExT-Mol, увеличивая размер модели LM, совершенствуя архитектуру диффузионной нейронной сети и применяя обучение с переносом от 1D к 3D. Примечательно, что наша 1D молекулярная LM значительно превосходит базовые модели по сходству распределений, обеспечивая при этом валидность, а наша 3D диффузионная модель демонстрирует лидирующие результаты в предсказании конформеров. Благодаря этим улучшениям в 1D и 3D моделировании, NExT-Mol достигает 26% относительного улучшения в 3D FCD для de novo генерации 3D молекул на данных GEOM-DRUGS и 13% среднего относительного прироста для условной генерации 3D молекул на данных QM9-2014. Наши коды и предварительно обученные модели доступны по адресу https://github.com/acharkq/NExT-Mol.

English

3D molecule generation is crucial for drug discovery and material design. While prior efforts focus on 3D diffusion models for their benefits in modeling continuous 3D conformers, they overlook the advantages of 1D SELFIES-based Language Models (LMs), which can generate 100% valid molecules and leverage the billion-scale 1D molecule datasets. To combine these advantages for 3D molecule generation, we propose a foundation model -- NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation. NExT-Mol uses an extensively pretrained molecule LM for 1D molecule generation, and subsequently predicts the generated molecule's 3D conformers with a 3D diffusion model. We enhance NExT-Mol's performance by scaling up the LM's model size, refining the diffusion neural architecture, and applying 1D to 3D transfer learning. Notably, our 1D molecule LM significantly outperforms baselines in distributional similarity while ensuring validity, and our 3D diffusion model achieves leading performances in conformer prediction. Given these improvements in 1D and 3D modeling, NExT-Mol achieves a 26% relative improvement in 3D FCD for de novo 3D generation on GEOM-DRUGS, and a 13% average relative gain for conditional 3D generation on QM9-2014. Our codes and pretrained checkpoints are available at https://github.com/acharkq/NExT-Mol.