Naar een Verenigde Latente Ruimte voor 3D Moleculaire Latente Diffusiemodellering

Towards Unified Latent Space for 3D Molecular Latent Diffusion Modeling

March 19, 2025

Auteurs: Yanchen Luo, Zhiyuan Liu, Yi Zhao, Sihang Li, Kenji Kawaguchi, Tat-Seng Chua, Xiang Wang

cs.AI

Samenvatting

3D-molecuulgeneratie is cruciaal voor geneesmiddelenontdekking en materiaalwetenschap, waarbij modellen complexe multimodale gegevens moeten verwerken, waaronder atoomtypen, chemische bindingen en 3D-coördinaten. Een belangrijke uitdaging is het integreren van deze modaliteiten met verschillende vormen, terwijl SE(3)-equivariantie voor 3D-coördinaten behouden blijft. Om dit te bereiken, hanteren bestaande benaderingen doorgaans afzonderlijke latente ruimtes voor invariante en equivariante modaliteiten, wat de efficiëntie tijdens zowel training als sampling vermindert. In dit werk stellen we de Unified Variational Auto-Encoder voor 3D Molecular Latent Diffusion Modeling (UAE-3D) voor, een multimodale VAE die 3D-moleculen comprimeert tot latente sequenties vanuit een geünificeerde latente ruimte, terwijl een bijna-nul reconstructiefout behouden blijft. Deze geünificeerde latente ruimte elimineert de complexiteit van het omgaan met multimodaliteit en equivariantie bij het uitvoeren van latente diffusiemodellering. We demonstreren dit door de Diffusion Transformer te gebruiken—een algemeen diffusiemodel zonder enige moleculaire inductieve bias—voor latente generatie. Uitgebreide experimenten op de GEOM-Drugs- en QM9-datasets tonen aan dat onze methode significant nieuwe benchmarks stelt in zowel de novo als conditionele 3D-molecuulgeneratie, waarbij leidende efficiëntie en kwaliteit worden bereikt.

English

3D molecule generation is crucial for drug discovery and material science, requiring models to process complex multi-modalities, including atom types, chemical bonds, and 3D coordinates. A key challenge is integrating these modalities of different shapes while maintaining SE(3) equivariance for 3D coordinates. To achieve this, existing approaches typically maintain separate latent spaces for invariant and equivariant modalities, reducing efficiency in both training and sampling. In this work, we propose Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D), a multi-modal VAE that compresses 3D molecules into latent sequences from a unified latent space, while maintaining near-zero reconstruction error. This unified latent space eliminates the complexities of handling multi-modality and equivariance when performing latent diffusion modeling. We demonstrate this by employing the Diffusion Transformer--a general-purpose diffusion model without any molecular inductive bias--for latent generation. Extensive experiments on GEOM-Drugs and QM9 datasets demonstrate that our method significantly establishes new benchmarks in both de novo and conditional 3D molecule generation, achieving leading efficiency and quality.