MolSpectra: Pre-training van 3D Moleculaire Representatie met Multi-modale Energie Spectra

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Auteurs: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Samenvatting

Het vaststellen van de relatie tussen 3D-structuren en de energietoestanden van moleculaire systemen heeft zich bewezen als een veelbelovende aanpak voor het leren van 3D-moleculaire representaties. Bestaande methoden zijn echter beperkt tot het modelleren van de moleculaire energietoestanden vanuit de klassieke mechanica. Deze beperking resulteert in een aanzienlijke verwaarlozing van kwantummechanische effecten, zoals gekwantiseerde (discrete) energieniveaustructuren, die een nauwkeurigere schatting van de moleculaire energie bieden en experimenteel gemeten kunnen worden via energiespectra. In dit artikel stellen we voor om de energiespectra te gebruiken om de pre-training van 3D-moleculaire representaties (MolSpectra) te verbeteren, waardoor kennis van de kwantummechanica wordt geïntegreerd in de moleculaire representaties. Specifiek introduceren we SpecFormer, een multi-spectrum encoder voor het coderen van moleculaire spectra via gemaskeerde patch-reconstructie. Door de uitvoer van de 3D-encoder en de spectrum-encoder verder af te stemmen met behulp van een contrastief doel, verbeteren we het begrip van de 3D-encoder van moleculen. Evaluaties op openbare benchmarks laten zien dat onze vooraf getrainde representaties bestaande methoden overtreffen in het voorspellen van moleculaire eigenschappen en het modelleren van dynamiek.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.