Eiwitten Ontwerpen met Grote Taalmodellen: Verbeteringen en Vergelijkende Analyses

Design Proteins Using Large Language Models: Enhancements and Comparative Analyses

August 12, 2024

Auteurs: Kamyar Zeinalipour, Neda Jamshidi, Monica Bianchini, Marco Maggini, Marco Gori

cs.AI

Samenvatting

Voorgetrainde grote taalmodellen (LLMs) hebben aanzienlijke capaciteiten getoond bij een reeks conventionele taken binnen natuurlijke taalverwerking (NLP), zoals samenvatting en entiteitsherkenning. In dit artikel onderzoeken we de toepassing van LLMs bij het genereren van hoogwaardige eiwitsequenties. Specifiek gebruiken we een reeks voorgetrainde LLMs, waaronder Mistral-7B1, Llama-2-7B2, Llama-3-8B3 en gemma-7B4, om geldige eiwitsequenties te produceren. Al deze modellen zijn publiekelijk beschikbaar. In tegenstelling tot eerder werk op dit gebied, maakt onze aanpak gebruik van een relatief kleine dataset bestaande uit 42.000 verschillende menselijke eiwitsequenties. We trainen deze modellen opnieuw om eiwitgerelateerde gegevens te verwerken, waardoor de generatie van biologisch haalbare eiwitstructuren wordt gegarandeerd. Onze bevindingen tonen aan dat zelfs met beperkte gegevens de aangepaste modellen een efficiëntie vertonen die vergelijkbaar is met gevestigde eiwitgerichte modellen zoals ProGen-varianten, ProtGPT2 en ProLLaMA, die getraind zijn op miljoenen eiwitsequenties. Om de prestaties van onze modellen te valideren en te kwantificeren, voeren we vergelijkende analyses uit met behulp van standaard metrieken zoals pLDDT, RMSD, TM-score en REU. Bovendien verbinden we ons ertoe om de getrainde versies van alle vier de modellen publiekelijk beschikbaar te stellen, wat meer transparantie en samenwerking in het veld van computationele biologie bevordert.

English

Pre-trained LLMs have demonstrated substantial capabilities across a range of conventional natural language processing (NLP) tasks, such as summarization and entity recognition. In this paper, we explore the application of LLMs in the generation of high-quality protein sequences. Specifically, we adopt a suite of pre-trained LLMs, including Mistral-7B1, Llama-2-7B2, Llama-3-8B3, and gemma-7B4, to produce valid protein sequences. All of these models are publicly available.5 Unlike previous work in this field, our approach utilizes a relatively small dataset comprising 42,000 distinct human protein sequences. We retrain these models to process protein-related data, ensuring the generation of biologically feasible protein structures. Our findings demonstrate that even with limited data, the adapted models exhibit efficiency comparable to established protein-focused models such as ProGen varieties, ProtGPT2, and ProLLaMA, which were trained on millions of protein sequences. To validate and quantify the performance of our models, we conduct comparative analyses employing standard metrics such as pLDDT, RMSD, TM-score, and REU. Furthermore, we commit to making the trained versions of all four models publicly available, fostering greater transparency and collaboration in the field of computational biology.