MolXPT: Обертывание молекул текстом для генеративного предварительного обучения

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

Авторы: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

Аннотация

Генеративный предобученный трансформатор (GPT) продемонстрировал значительный успех в обработке естественного языка, и связанные с ним методы были адаптированы для молекулярного моделирования. Учитывая, что текст является важнейшим средством записи научных открытий, в данной статье мы представляем MolXPT — унифицированную языковую модель текста и молекул, предобученную на SMILES (последовательном представлении молекул), заключённых в текст. Вкратце, мы обнаруживаем названия молекул в каждой последовательности и заменяем их на соответствующие SMILES. Таким образом, SMILES могут использовать информацию из окружающего текста, и наоборот. Упомянутые последовательности с SMILES, текстовые последовательности из PubMed и последовательности SMILES из PubChem подаются в языковую модель для предобучения. Экспериментальные результаты показывают, что MolXPT превосходит сильные базовые модели в предсказании молекулярных свойств на MoleculeNet, демонстрирует сопоставимую производительность с лучшей моделью в переводе между текстом и молекулами, используя менее половины её параметров, и позволяет выполнять генерацию молекул без дообучения (zero-shot).

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.