MolXPT: Envolvendo Moléculas com Texto para Pré-treinamento Generativo

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Autores: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Resumo

O Transformer pré-treinado generativo (GPT) demonstrou grande sucesso no processamento de linguagem natural, e técnicas relacionadas foram adaptadas para a modelagem molecular. Considerando que o texto é o registro mais importante para descobertas científicas, neste artigo, propomos o MolXPT, um modelo de linguagem unificado de texto e moléculas pré-treinado em SMILES (uma representação sequencial de moléculas) encapsulada por texto. Resumidamente, detectamos os nomes das moléculas em cada sequência e os substituímos pelos SMILES correspondentes. Dessa forma, os SMILES podem aproveitar as informações do texto ao redor, e vice-versa. As sequências encapsuladas, as sequências de texto do PubMed e as sequências de SMILES do PubChem são todas alimentadas em um modelo de linguagem para pré-treinamento. Os resultados experimentais demonstram que o MolXPT supera fortes baselines de previsão de propriedades moleculares no MoleculeNet, tem desempenho comparável ao melhor modelo em tradução texto-molécula enquanto utiliza menos da metade dos parâmetros, e permite geração molecular zero-shot sem ajuste fino.

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.