MolXPT: 生成事前学習のためのテキストによる分子のラッピング

MolXPT: Wrapping Molecules with Text for Generative Pre-training

May 18, 2023

著者: Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu

cs.AI

要旨

生成事前学習型Transformer（GPT）は自然言語処理において大きな成功を収めており、その関連技術は分子モデリングにも適用されています。科学の発見においてテキストが最も重要な記録媒体であることを考慮し、本論文では、テキストでラップされたSMILES（分子のシーケンス表現）に事前学習を行ったテキストと分子の統一言語モデルであるMolXPTを提案します。具体的には、各シーケンス内の分子名を検出し、対応するSMILESに置換します。これにより、SMILESは周囲のテキストから情報を活用でき、逆もまた同様です。上記のラップされたシーケンス、PubMedからのテキストシーケンス、およびPubChemからのSMILESシーケンスをすべて言語モデルに入力して事前学習を行います。実験結果は、MolXPTがMoleculeNetにおける分子特性予測の強力なベースラインを上回り、テキスト-分子翻訳において最高のモデルと同等の性能を発揮しながらそのパラメータ数の半分以下を使用し、ファインチューニングなしでゼロショット分子生成を可能にすることを示しています。

English

Generative pre-trained Transformer (GPT) has demonstrates its great success in natural language processing and related techniques have been adapted into molecular modeling. Considering that text is the most important record for scientific discovery, in this paper, we propose MolXPT, a unified language model of text and molecules pre-trained on SMILES (a sequence representation of molecules) wrapped by text. Briefly, we detect the molecule names in each sequence and replace them to the corresponding SMILES. In this way, the SMILES could leverage the information from surrounding text, and vice versa. The above wrapped sequences, text sequences from PubMed and SMILES sequences from PubChem are all fed into a language model for pre-training. Experimental results demonstrate that MolXPT outperforms strong baselines of molecular property prediction on MoleculeNet, performs comparably to the best model in text-molecule translation while using less than half of its parameters, and enables zero-shot molecular generation without finetuning.