MolXPT: Moleculen omhullen met tekst voor generatieve voorpretraining

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Auteurs: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Samenvatting

De Generative Pre-trained Transformer (GPT) heeft zijn grote succes bewezen in natuurlijke taalverwerking, en gerelateerde technieken zijn aangepast voor moleculaire modellering. Gezien tekst de belangrijkste registratie is voor wetenschappelijke ontdekkingen, stellen we in dit artikel MolXPT voor, een geïntegreerd taalmodel voor tekst en moleculen dat vooraf is getraind op SMILES (een sequentiële representatie van moleculen) omgeven door tekst. Kort gezegd detecteren we de molecuulnamen in elke sequentie en vervangen deze door de corresponderende SMILES. Op deze manier kunnen de SMILES profiteren van de informatie uit de omringende tekst, en vice versa. De bovenstaande omgeven sequenties, tekstsequenties uit PubMed en SMILES-sequenties uit PubChem worden allemaal ingevoerd in een taalmodel voor voorafgaande training. Experimentele resultaten tonen aan dat MolXPT sterke basislijnen voor moleculaire eigenschapsvoorspelling op MoleculeNet overtreft, vergelijkbaar presteert met het beste model in tekst-molecuulvertaling terwijl het minder dan de helft van de parameters gebruikt, en zero-shot moleculaire generatie mogelijk maakt zonder fine-tuning.

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.