3D 분자 잠재 확산 모델링을 위한 통합 잠재 공간 구축

Towards Unified Latent Space for 3D Molecular Latent Diffusion Modeling

March 19, 2025

저자: Yanchen Luo, Zhiyuan Liu, Yi Zhao, Sihang Li, Kenji Kawaguchi, Tat-Seng Chua, Xiang Wang

cs.AI

초록

3D 분자 생성은 신약 개발과 재료 과학에서 중요한 역할을 하며, 원자 유형, 화학 결합, 3D 좌표 등 복잡한 다중 모달리티를 처리할 수 있는 모델이 필요합니다. 주요 과제는 이러한 다양한 형태의 모달리티를 통합하면서도 3D 좌표에 대한 SE(3) 등변성을 유지하는 것입니다. 이를 위해 기존 접근 방식은 일반적으로 불변성과 등변성 모달리티를 위한 별도의 잠재 공간을 유지함으로써 학습 및 샘플링 효율성을 저하시켰습니다. 본 연구에서는 이러한 문제를 해결하기 위해 Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D)를 제안합니다. UAE-3D는 다중 모달리티 VAE로, 3D 분자를 통합된 잠재 공간에서 잠재 시퀀스로 압축하면서도 거의 제로에 가까운 재구성 오차를 유지합니다. 이 통합 잠재 공간은 잠재 확산 모델링을 수행할 때 다중 모달리티와 등변성을 처리하는 복잡성을 제거합니다. 이를 위해 분자적 귀납적 편향 없이도 일반적으로 사용 가능한 확산 모델인 Diffusion Transformer를 잠재 생성에 활용합니다. GEOM-Drugs 및 QM9 데이터셋에 대한 광범위한 실험을 통해, 우리의 방법이 데 노보 및 조건부 3D 분자 생성 모두에서 새로운 벤치마크를 확립하며, 선도적인 효율성과 품질을 달성함을 입증합니다.

English

3D molecule generation is crucial for drug discovery and material science, requiring models to process complex multi-modalities, including atom types, chemical bonds, and 3D coordinates. A key challenge is integrating these modalities of different shapes while maintaining SE(3) equivariance for 3D coordinates. To achieve this, existing approaches typically maintain separate latent spaces for invariant and equivariant modalities, reducing efficiency in both training and sampling. In this work, we propose Unified Variational Auto-Encoder for 3D Molecular Latent Diffusion Modeling (UAE-3D), a multi-modal VAE that compresses 3D molecules into latent sequences from a unified latent space, while maintaining near-zero reconstruction error. This unified latent space eliminates the complexities of handling multi-modality and equivariance when performing latent diffusion modeling. We demonstrate this by employing the Diffusion Transformer--a general-purpose diffusion model without any molecular inductive bias--for latent generation. Extensive experiments on GEOM-Drugs and QM9 datasets demonstrate that our method significantly establishes new benchmarks in both de novo and conditional 3D molecule generation, achieving leading efficiency and quality.