Hacia un Espacio Latente Unificado para el Modelado de Difusión Latente de Moléculas 3D

Towards Unified Latent Space for 3D Molecular Latent Diffusion Modeling

March 19, 2025

Autores: Yanchen Luo, Zhiyuan Liu, Yi Zhao, Sihang Li, Kenji Kawaguchi, Tat-Seng Chua, Xiang Wang

cs.AI

Resumen

La generación de moléculas 3D es crucial para el descubrimiento de fármacos y la ciencia de materiales, requiriendo que los modelos procesen complejas multi-modalidades, incluyendo tipos de átomos, enlaces químicos y coordenadas 3D. Un desafío clave es integrar estas modalidades de diferentes formas mientras se mantiene la equivariancia SE(3) para las coordenadas 3D. Para lograrlo, los enfoques existentes suelen mantener espacios latentes separados para modalidades invariantes y equivariantes, lo que reduce la eficiencia tanto en el entrenamiento como en el muestreo. En este trabajo, proponemos el Variational Auto-Encoder Unificado para Modelado de Difusión Latente de Moléculas 3D (UAE-3D), un VAE multi-modal que comprime moléculas 3D en secuencias latentes desde un espacio latente unificado, manteniendo un error de reconstrucción cercano a cero. Este espacio latente unificado elimina las complejidades de manejar multi-modalidad y equivariancia al realizar el modelado de difusión latente. Demostramos esto empleando el Transformer de Difusión—un modelo de difusión de propósito general sin ningún sesgo inductivo molecular—para la generación latente. Experimentos extensivos en los conjuntos de datos GEOM-Drugs y QM9 demuestran que nuestro método establece nuevos referentes significativos tanto en la generación de novo como condicional de moléculas 3D, logrando una eficiencia y calidad líderes.

English

3D molecule generation is crucial for drug discovery and material science, requiring models to process complex multi-modalities, including atom types, chemical bonds, and 3D coordinates. A key challenge is integrating these modalities of different shapes while maintaining SE(3) equivariance for 3D coordinates. To achieve this, existing approaches typically maintain separate latent spaces for invariant and equivariant modalities, reducing efficiency in both training and sampling. In this work, we propose Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D), a multi-modal VAE that compresses 3D molecules into latent sequences from a unified latent space, while maintaining near-zero reconstruction error. This unified latent space eliminates the complexities of handling multi-modality and equivariance when performing latent diffusion modeling. We demonstrate this by employing the Diffusion Transformer--a general-purpose diffusion model without any molecular inductive bias--for latent generation. Extensive experiments on GEOM-Drugs and QM9 datasets demonstrate that our method significantly establishes new benchmarks in both de novo and conditional 3D molecule generation, achieving leading efficiency and quality.