NExT-Mol: Difusão 3D Encontra Modelagem de Linguagem 1D para Geração de Moléculas 3D

NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation

February 18, 2025

Autores: Zhiyuan Liu, Yanchen Luo, Han Huang, Enzhi Zhang, Sihang Li, Junfeng Fang, Yaorui Shi, Xiang Wang, Kenji Kawaguchi, Tat-Seng Chua

cs.AI

Resumo

A geração de moléculas 3D é crucial para a descoberta de fármacos e o design de materiais. Embora esforços anteriores se concentrem em modelos de difusão 3D devido aos seus benefícios na modelagem de conformações 3D contínuas, eles negligenciam as vantagens dos modelos de linguagem (LMs) baseados em SELFIES 1D, que podem gerar moléculas 100% válidas e aproveitar conjuntos de dados de moléculas 1D em escala bilionária. Para combinar essas vantagens na geração de moléculas 3D, propomos um modelo de base -- NExT-Mol: Difusão 3D Encontra Modelagem de Linguagem 1D para Geração de Moléculas 3D. O NExT-Mol utiliza um LM de molécula extensivamente pré-treinado para a geração de moléculas 1D e, subsequentemente, prevê as conformações 3D da molécula gerada com um modelo de difusão 3D. Melhoramos o desempenho do NExT-Mol ao escalar o tamanho do modelo do LM, refinar a arquitetura neural de difusão e aplicar aprendizado de transferência de 1D para 3D. Notavelmente, nosso LM de molécula 1D supera significativamente as linhas de base em similaridade distribucional enquanto garante validade, e nosso modelo de difusão 3D alcança desempenhos líderes na previsão de conformações. Dadas essas melhorias na modelagem 1D e 3D, o NExT-Mol alcança uma melhoria relativa de 26% no FCD 3D para geração de novo 3D no GEOM-DRUGS e um ganho relativo médio de 13% para geração condicional 3D no QM9-2014. Nossos códigos e checkpoints pré-treinados estão disponíveis em https://github.com/acharkq/NExT-Mol.

English

3D molecule generation is crucial for drug discovery and material design. While prior efforts focus on 3D diffusion models for their benefits in modeling continuous 3D conformers, they overlook the advantages of 1D SELFIES-based Language Models (LMs), which can generate 100% valid molecules and leverage the billion-scale 1D molecule datasets. To combine these advantages for 3D molecule generation, we propose a foundation model -- NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation. NExT-Mol uses an extensively pretrained molecule LM for 1D molecule generation, and subsequently predicts the generated molecule's 3D conformers with a 3D diffusion model. We enhance NExT-Mol's performance by scaling up the LM's model size, refining the diffusion neural architecture, and applying 1D to 3D transfer learning. Notably, our 1D molecule LM significantly outperforms baselines in distributional similarity while ensuring validity, and our 3D diffusion model achieves leading performances in conformer prediction. Given these improvements in 1D and 3D modeling, NExT-Mol achieves a 26% relative improvement in 3D FCD for de novo 3D generation on GEOM-DRUGS, and a 13% average relative gain for conditional 3D generation on QM9-2014. Our codes and pretrained checkpoints are available at https://github.com/acharkq/NExT-Mol.