MolXPT: Avvolgere le molecole con il testo per il pre-addestramento generativo

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Autori: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Abstract

Il Transformer pre-addestrato generativo (GPT) ha dimostrato un grande successo nell'elaborazione del linguaggio naturale, e tecniche correlate sono state adattate alla modellazione molecolare. Considerando che il testo rappresenta la principale forma di registrazione per le scoperte scientifiche, in questo articolo proponiamo MolXPT, un modello linguistico unificato di testo e molecole pre-addestrato su SMILES (una rappresentazione sequenziale delle molecole) racchiusi da testo. In breve, rileviamo i nomi delle molecole in ciascuna sequenza e li sostituiamo con i corrispondenti SMILES. In questo modo, gli SMILES possono sfruttare le informazioni dal testo circostante, e viceversa. Le sequenze così modificate, le sequenze di testo provenienti da PubMed e le sequenze di SMILES da PubChem vengono tutte inserite in un modello linguistico per il pre-addestramento. I risultati sperimentali dimostrano che MolXPT supera i forti modelli di riferimento nella previsione delle proprietà molecolari su MoleculeNet, si comporta in modo comparabile al miglior modello nella traduzione testo-molecola utilizzando meno della metà dei suoi parametri, e consente la generazione molecolare zero-shot senza ulteriore addestramento.

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.