MolSpectra: Pre-addestramento della Rappresentazione Molecolare 3D con Spettri Energetici Multi-modali

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Autori: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Abstract

Stabilire la relazione tra strutture 3D e gli stati energetici dei sistemi molecolari si è rivelato un approccio promettente per l'apprendimento di rappresentazioni molecolari 3D. Tuttavia, i metodi esistenti sono limitati alla modellazione degli stati energetici molecolari basata sulla meccanica classica. Questa limitazione comporta una significativa trascuratezza degli effetti della meccanica quantistica, come le strutture di livelli energetici quantizzati (discreti), che offrono una stima più accurata dell'energia molecolare e possono essere misurati sperimentalmente attraverso gli spettri energetici. In questo articolo, proponiamo di utilizzare gli spettri energetici per migliorare il pre-addestramento delle rappresentazioni molecolari 3D (MolSpectra), infondendo così la conoscenza della meccanica quantistica nelle rappresentazioni molecolari. Nello specifico, proponiamo SpecFormer, un codificatore multi-spettro per codificare gli spettri molecolari tramite la ricostruzione di patch mascherate. Allineando ulteriormente gli output del codificatore 3D e del codificatore di spettro utilizzando un obiettivo contrastivo, miglioriamo la comprensione delle molecole da parte del codificatore 3D. Le valutazioni su benchmark pubblici rivelano che le nostre rappresentazioni pre-addestrate superano i metodi esistenti nella previsione delle proprietà molecolari e nella modellazione delle dinamiche.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.