MolXPT: Envolviendo moléculas con texto para preentrenamiento generativo
MolXPT: Wrapping Molecules with Text for Generative Pre-training
May 18, 2023
Autores: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu
cs.AI
Resumen
El Transformer preentrenado generativo (GPT) ha demostrado un gran éxito en el procesamiento del lenguaje natural, y técnicas relacionadas se han adaptado al modelado molecular. Considerando que el texto es el registro más importante para el descubrimiento científico, en este artículo proponemos MolXPT, un modelo de lenguaje unificado de texto y moléculas preentrenado en SMILES (una representación secuencial de moléculas) envuelto por texto. Brevemente, detectamos los nombres de las moléculas en cada secuencia y los reemplazamos por los SMILES correspondientes. De esta manera, los SMILES pueden aprovechar la información del texto circundante, y viceversa. Las secuencias envueltas mencionadas, las secuencias de texto de PubMed y las secuencias de SMILES de PubChem se introducen en un modelo de lenguaje para el preentrenamiento. Los resultados experimentales demuestran que MolXPT supera a los modelos de referencia en la predicción de propiedades moleculares en MoleculeNet, tiene un rendimiento comparable al mejor modelo en la traducción texto-molécula mientras utiliza menos de la mitad de sus parámetros, y permite la generación de moléculas en modo zero-shot sin necesidad de ajuste fino.
English
Generative pre-trained Transformer (GPT) has demonstrates its great success
in natural language processing and related techniques have been adapted into
molecular modeling. Considering that text is the most important record for
scientific discovery, in this paper, we propose MolXPT, a unified language
model of text and molecules pre-trained on SMILES (a sequence representation of
molecules) wrapped by text. Briefly, we detect the molecule names in each
sequence and replace them to the corresponding SMILES. In this way, the SMILES
could leverage the information from surrounding text, and vice versa. The above
wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem
are all fed into a language model for pre-training. Experimental results
demonstrate that MolXPT outperforms strong baselines of molecular property
prediction on MoleculeNet, performs comparably to the best model in
text-molecule translation while using less than half of its parameters, and
enables zero-shot molecular generation without finetuning.