MolXPT : Encapsulation de molécules avec du texte pour le pré-entraînement génératif

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Auteurs: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Résumé

Le Transformer pré-entraîné génératif (GPT) a démontré son grand succès dans le traitement du langage naturel, et les techniques associées ont été adaptées à la modélisation moléculaire. Considérant que le texte constitue l'enregistrement le plus important pour les découvertes scientifiques, nous proposons dans cet article MolXPT, un modèle de langage unifié pour le texte et les molécules, pré-entraîné sur des SMILES (une représentation séquentielle des molécules) encapsulés dans du texte. En bref, nous détectons les noms de molécules dans chaque séquence et les remplaçons par les SMILES correspondants. De cette manière, les SMILES peuvent tirer parti des informations provenant du texte environnant, et vice versa. Les séquences encapsulées ainsi obtenues, les séquences textuelles provenant de PubMed et les séquences SMILES de PubChem sont toutes introduites dans un modèle de langage pour le pré-entraînement. Les résultats expérimentaux montrent que MolXPT surpasse les modèles de référence pour la prédiction des propriétés moléculaires sur MoleculeNet, obtient des performances comparables au meilleur modèle en traduction texte-molécule tout en utilisant moins de la moitié de ses paramètres, et permet la génération de molécules en zero-shot sans ajustement fin.

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.