MolXPT: Moleküle mit Text umhüllen für generatives Pre-Training

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Autoren: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Zusammenfassung

Der Generative Pre-trained Transformer (GPT) hat großen Erfolg in der natürlichen Sprachverarbeitung gezeigt, und verwandte Techniken wurden in die molekulare Modellierung übernommen. Da Text die wichtigste Aufzeichnung für wissenschaftliche Entdeckungen ist, schlagen wir in diesem Artikel MolXPT vor, ein einheitliches Sprachmodell für Text und Moleküle, das auf SMILES (einer Sequenzdarstellung von Molekülen), die in Text eingebettet sind, vortrainiert wurde. Kurz gesagt, wir erkennen die Molekülnamen in jeder Sequenz und ersetzen sie durch die entsprechenden SMILES. Auf diese Weise können die SMILES Informationen aus dem umgebenden Text nutzen und umgekehrt. Die oben genannten eingebetteten Sequenzen, Textsequenzen aus PubMed und SMILES-Sequenzen aus PubChem werden alle in ein Sprachmodell für das Vortraining eingespeist. Experimentelle Ergebnisse zeigen, dass MolXPT starke Baselines der molekularen Eigenschaftsvorhersage auf MoleculeNet übertrifft, vergleichbar mit dem besten Modell in der Text-Molekül-Übersetzung abschneidet, während es weniger als die Hälfte seiner Parameter verwendet, und die Null-Shot-Molekülgenerierung ohne Feinabstimmung ermöglicht.

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.