MolSpectra: Vorabtraining von 3D-Molekülrepräsentationen mit multimodalen Energiespektren

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Autoren: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Zusammenfassung

Die Beziehung zwischen 3D-Strukturen und den Energiezuständen molekularer Systeme zu etablieren, hat sich als vielversprechender Ansatz für das Lernen von 3D-Moleküldarstellungen erwiesen. Bestehende Methoden sind jedoch darauf beschränkt, die molekularen Energiezustände aus der klassischen Mechanik zu modellieren. Diese Einschränkung führt zu einer erheblichen Vernachlässigung quantenmechanischer Effekte, wie beispielsweise quantisierter (diskretisierter) Energieniveaustrukturen, die eine genauere Schätzung der molekularen Energie ermöglichen und experimentell durch Energiespektren gemessen werden können. In diesem Artikel schlagen wir vor, die Energiespektren zu nutzen, um das Pre-Training von 3D-Moleküldarstellungen (MolSpectra) zu verbessern und somit das Wissen der Quantenmechanik in die molekularen Darstellungen zu integrieren. Konkret schlagen wir SpecFormer vor, einen Multi-Spektrum-Encoder, der molekulare Spektren durch maskierte Patch-Rekonstruktion kodiert. Durch die weitere Ausrichtung der Ausgaben des 3D-Encoders und des Spektrum-Encoders mittels eines kontrastiven Ziels verbessern wir das Verständnis des 3D-Encoders für Moleküle. Evaluierungen auf öffentlichen Benchmarks zeigen, dass unsere vortrainierten Darstellungen bestehende Methoden in der Vorhersage molekularer Eigenschaften und der Modellierung von Dynamiken übertreffen.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.