Em Direção a um Espaço Latente Unificado para Modelagem de Difusão Latente de Moléculas 3D

Towards Unified Latent Space for 3D Molecular Latent Diffusion Modeling

March 19, 2025

Autores: Yanchen Luo, Zhiyuan Liu, Yi Zhao, Sihang Li, Kenji Kawaguchi, Tat-Seng Chua, Xiang Wang

cs.AI

Resumo

A geração de moléculas 3D é crucial para a descoberta de medicamentos e a ciência dos materiais, exigindo que os modelos processem complexas multi-modalidades, incluindo tipos de átomos, ligações químicas e coordenadas 3D. Um desafio fundamental é integrar essas modalidades de diferentes formas, mantendo a equivariância SE(3) para as coordenadas 3D. Para alcançar isso, as abordagens existentes geralmente mantêm espaços latentes separados para modalidades invariantes e equivariantes, reduzindo a eficiência tanto no treinamento quanto na amostragem. Neste trabalho, propomos o **Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D)**, um VAE multi-modal que comprime moléculas 3D em sequências latentes a partir de um espaço latente unificado, mantendo um erro de reconstrução próximo de zero. Esse espaço latente unificado elimina as complexidades de lidar com multi-modalidade e equivariância ao realizar a modelagem de difusão latente. Demonstramos isso empregando o **Diffusion Transformer**—um modelo de difusão de propósito geral sem qualquer viés indutivo molecular—para a geração latente. Experimentos extensivos nos conjuntos de dados GEOM-Drugs e QM9 demonstram que nosso método estabelece novos benchmarks significativos tanto na geração de moléculas 3D de novo quanto condicional, alcançando eficiência e qualidade líderes.

English

3D molecule generation is crucial for drug discovery and material science, requiring models to process complex multi-modalities, including atom types, chemical bonds, and 3D coordinates. A key challenge is integrating these modalities of different shapes while maintaining SE(3) equivariance for 3D coordinates. To achieve this, existing approaches typically maintain separate latent spaces for invariant and equivariant modalities, reducing efficiency in both training and sampling. In this work, we propose Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D), a multi-modal VAE that compresses 3D molecules into latent sequences from a unified latent space, while maintaining near-zero reconstruction error. This unified latent space eliminates the complexities of handling multi-modality and equivariance when performing latent diffusion modeling. We demonstrate this by employing the Diffusion Transformer--a general-purpose diffusion model without any molecular inductive bias--for latent generation. Extensive experiments on GEOM-Drugs and QM9 datasets demonstrate that our method significantly establishes new benchmarks in both de novo and conditional 3D molecule generation, achieving leading efficiency and quality.