ChatPaper.aiChatPaper

MolXPT: Envolviendo moléculas con texto para preentrenamiento generativo

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023
Autores: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu
cs.AI

Resumen

El Transformer preentrenado generativo (GPT) ha demostrado un gran éxito en el procesamiento del lenguaje natural, y técnicas relacionadas se han adaptado al modelado molecular. Considerando que el texto es el registro más importante para el descubrimiento científico, en este artículo proponemos MolXPT, un modelo de lenguaje unificado de texto y moléculas preentrenado en SMILES (una representación secuencial de moléculas) envuelto por texto. Brevemente, detectamos los nombres de las moléculas en cada secuencia y los reemplazamos por los SMILES correspondientes. De esta manera, los SMILES pueden aprovechar la información del texto circundante, y viceversa. Las secuencias envueltas mencionadas, las secuencias de texto de PubMed y las secuencias de SMILES de PubChem se introducen en un modelo de lenguaje para el preentrenamiento. Los resultados experimentales demuestran que MolXPT supera a los modelos de referencia en la predicción de propiedades moleculares en MoleculeNet, tiene un rendimiento comparable al mejor modelo en la traducción texto-molécula mientras utiliza menos de la mitad de sus parámetros, y permite la generación de moléculas en modo zero-shot sin necesidad de ajuste fino.
English
Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.
PDF10December 15, 2024