MolSpectra: Pré-treinamento de Representação Molecular 3D com Espectros de Energia Multi-modais

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Autores: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Resumo

Estabelecer a relação entre estruturas 3D e os estados de energia de sistemas moleculares tem se mostrado uma abordagem promissora para aprender representações moleculares em 3D. No entanto, os métodos existentes são limitados na modelagem dos estados de energia molecular a partir da mecânica clássica. Essa limitação resulta em uma omissão significativa dos efeitos da mecânica quântica, como estruturas de níveis de energia quantizados (discretos), que oferecem uma estimativa mais precisa da energia molecular e podem ser experimentalmente mensurados por meio de espectros de energia. Neste artigo, propomos utilizar os espectros de energia para aprimorar o pré-treinamento de representações moleculares em 3D (MolSpectra), incorporando assim o conhecimento da mecânica quântica nas representações moleculares. Especificamente, propomos o SpecFormer, um codificador de múltiplos espectros para codificar espectros moleculares por meio da reconstrução de patches mascarados. Ao alinhar ainda mais as saídas do codificador 3D e do codificador de espectro usando um objetivo contrastivo, aprimoramos a compreensão das moléculas pelo codificador 3D. Avaliações em benchmarks públicos revelam que nossas representações pré-treinadas superam os métodos existentes na previsão de propriedades moleculares e modelagem de dinâmicas.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.