Проектирование белков с использованием больших языковых моделей: улучшения и сравнительный анализ

Design Proteins Using Large Language Models: Enhancements and Comparative Analyses

August 12, 2024

Авторы: Kamyar Zeinalipour, Neda Jamshidi, Monica Bianchini, Marco Maggini, Marco Gori

cs.AI

Аннотация

Предварительно обученные языковые модели (LLM) продемонстрировали значительные возможности в различных традиционных задачах обработки естественного языка (NLP), таких как суммаризация и распознавание сущностей. В данной статье мы исследуем применение LLM для генерации высококачественных последовательностей белков. Конкретно, мы используем набор предварительно обученных LLM, включая Mistral-7B1, Llama-2-7B2, Llama-3-8B3 и gemma-7B4, для создания действительных последовательностей белков. Все эти модели доступны публично. В отличие от предыдущих работ в этой области, наш подход использует относительно небольшой набор данных, включающий 42 000 различных последовательностей человеческих белков. Мы переобучаем эти модели для обработки данных, связанных с белками, обеспечивая генерацию биологически возможных структур белков. Наши результаты показывают, что даже с ограниченными данными адаптированные модели проявляют эффективность, сравнимую с установленными моделями, сосредоточенными на белках, такими как различные варианты ProGen, ProtGPT2 и ProLLaMA, которые были обучены на миллионах последовательностей белков. Для проверки и количественной оценки производительности наших моделей мы проводим сравнительный анализ, используя стандартные метрики, такие как pLDDT, RMSD, TM-score и REU. Более того, мы обязуемся сделать обученные версии всех четырех моделей общедоступными, способствуя большей прозрачности и сотрудничеству в области вычислительной биологии.

English

Pre-trained LLMs have demonstrated substantial capabilities across a range of conventional natural language processing (NLP) tasks, such as summarization and entity recognition. In this paper, we explore the application of LLMs in the generation of high-quality protein sequences. Specifically, we adopt a suite of pre-trained LLMs, including Mistral-7B1, Llama-2-7B2, Llama-3-8B3, and gemma-7B4, to produce valid protein sequences. All of these models are publicly available.5 Unlike previous work in this field, our approach utilizes a relatively small dataset comprising 42,000 distinct human protein sequences. We retrain these models to process protein-related data, ensuring the generation of biologically feasible protein structures. Our findings demonstrate that even with limited data, the adapted models exhibit efficiency comparable to established protein-focused models such as ProGen varieties, ProtGPT2, and ProLLaMA, which were trained on millions of protein sequences. To validate and quantify the performance of our models, we conduct comparative analyses employing standard metrics such as pLDDT, RMSD, TM-score, and REU. Furthermore, we commit to making the trained versions of all four models publicly available, fostering greater transparency and collaboration in the field of computational biology.