MolSpectra : Pré-entraînement de la représentation moléculaire 3D avec des spectres d'énergie multi-modaux

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Auteurs: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Résumé

Établir la relation entre les structures 3D et les états énergétiques des systèmes moléculaires s'est avéré être une approche prometteuse pour l'apprentissage des représentations moléculaires 3D. Cependant, les méthodes existantes se limitent à modéliser les états énergétiques moléculaires à partir de la mécanique classique. Cette limitation entraîne une négligence significative des effets de la mécanique quantique, tels que les structures d'énergie quantifiées (discrètes), qui offrent une estimation plus précise de l'énergie moléculaire et peuvent être mesurées expérimentalement via les spectres énergétiques. Dans cet article, nous proposons d'utiliser les spectres énergétiques pour améliorer le pré-entraînement des représentations moléculaires 3D (MolSpectra), intégrant ainsi les connaissances de la mécanique quantique dans les représentations moléculaires. Plus précisément, nous proposons SpecFormer, un encodeur multi-spectre pour encoder les spectres moléculaires via la reconstruction de patchs masqués. En alignant davantage les sorties de l'encodeur 3D et de l'encodeur de spectre à l'aide d'un objectif contrastif, nous améliorons la compréhension des molécules par l'encodeur 3D. Les évaluations sur des benchmarks publics révèlent que nos représentations pré-entraînées surpassent les méthodes existantes dans la prédiction des propriétés moléculaires et la modélisation des dynamiques.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.