大規模言語モデルを用いたタンパク質設計：機能強化と比較分析

Design Proteins Using Large Language Models: Enhancements and Comparative Analyses

August 12, 2024

著者: Kamyar Zeinalipour, Neda Jamshidi, Monica Bianchini, Marco Maggini, Marco Gori

cs.AI

要旨

事前学習済みの大規模言語モデル（LLM）は、要約や固有表現認識といった従来の自然言語処理（NLP）タスクにおいて、顕著な能力を発揮してきました。本論文では、LLMを高品質なタンパク質配列の生成に応用する方法を探ります。具体的には、Mistral-7B1、Llama-2-7B2、Llama-3-8B3、gemma-7B4といった一連の事前学習済みLLMを採用し、有効なタンパク質配列を生成します。これらのモデルは全て公開されています。この分野の従来の研究とは異なり、我々のアプローチでは42,000種類のヒトタンパク質配列からなる比較的小規模なデータセットを利用します。これらのモデルを再学習させ、タンパク質関連データを処理し、生物学的に実現可能なタンパク質構造を生成することを保証します。我々の研究結果は、限られたデータ量であっても、適応させたモデルが数百万のタンパク質配列で学習されたProGenシリーズ、ProtGPT2、ProLLaMAといった確立されたタンパク質特化モデルと同等の効率性を示すことを実証しています。モデルの性能を検証し定量化するため、pLDDT、RMSD、TMスコア、REUといった標準的な指標を用いた比較分析を行います。さらに、計算生物学分野における透明性と協力を促進するため、学習済みの4つのモデル全てのバージョンを公開することを約束します。

English

Pre-trained LLMs have demonstrated substantial capabilities across a range of conventional natural language processing (NLP) tasks, such as summarization and entity recognition. In this paper, we explore the application of LLMs in the generation of high-quality protein sequences. Specifically, we adopt a suite of pre-trained LLMs, including Mistral-7B1, Llama-2-7B2, Llama-3-8B3, and gemma-7B4, to produce valid protein sequences. All of these models are publicly available.5 Unlike previous work in this field, our approach utilizes a relatively small dataset comprising 42,000 distinct human protein sequences. We retrain these models to process protein-related data, ensuring the generation of biologically feasible protein structures. Our findings demonstrate that even with limited data, the adapted models exhibit efficiency comparable to established protein-focused models such as ProGen varieties, ProtGPT2, and ProLLaMA, which were trained on millions of protein sequences. To validate and quantify the performance of our models, we conduct comparative analyses employing standard metrics such as pLDDT, RMSD, TM-score, and REU. Furthermore, we commit to making the trained versions of all four models publicly available, fostering greater transparency and collaboration in the field of computational biology.