MolSpectra: Preentrenamiento de Representación Molecular 3D con Espectros de Energía Multimodal

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Autores: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Resumen

Establecer la relación entre las estructuras 3D y los estados energéticos de los sistemas moleculares ha demostrado ser un enfoque prometedor para aprender representaciones moleculares en 3D. Sin embargo, los métodos existentes se limitan a modelar los estados energéticos moleculares desde la mecánica clásica. Esta limitación resulta en una omisión significativa de los efectos de la mecánica cuántica, como las estructuras de niveles de energía cuantizados (discretos), que ofrecen una estimación más precisa de la energía molecular y pueden medirse experimentalmente a través de espectros de energía. En este artículo, proponemos utilizar los espectros de energía para mejorar el pre-entrenamiento de representaciones moleculares en 3D (MolSpectra), infundiendo así el conocimiento de la mecánica cuántica en las representaciones moleculares. Específicamente, proponemos SpecFormer, un codificador multi-espectro para codificar espectros moleculares mediante la reconstrucción de parches enmascarados. Al alinear adicionalmente las salidas del codificador 3D y el codificador de espectros utilizando un objetivo contrastivo, mejoramos la comprensión del codificador 3D sobre las moléculas. Las evaluaciones en benchmarks públicos revelan que nuestras representaciones pre-entrenadas superan a los métodos existentes en la predicción de propiedades moleculares y el modelado de dinámicas.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.