Progettazione di Proteine Utilizzando Modelli Linguistici di Grande Scala: Miglioramenti e Analisi Comparative

Design Proteins Using Large Language Models: Enhancements and Comparative Analyses

August 12, 2024

Autori: Kamyar Zeinalipour, Neda Jamshidi, Monica Bianchini, Marco Maggini, Marco Gori

cs.AI

Abstract

I modelli linguistici pre-addestrati (LLM) hanno dimostrato capacità significative in una gamma di compiti convenzionali di elaborazione del linguaggio naturale (NLP), come la riassunzione e il riconoscimento di entità. In questo articolo, esploriamo l'applicazione degli LLM nella generazione di sequenze proteiche di alta qualità. Nello specifico, adottiamo una serie di LLM pre-addestrati, tra cui Mistral-7B1, Llama-2-7B2, Llama-3-8B3 e gemma-7B4, per produrre sequenze proteiche valide. Tutti questi modelli sono pubblicamente disponibili. A differenza dei lavori precedenti in questo campo, il nostro approccio utilizza un dataset relativamente piccolo composto da 42.000 sequenze proteiche umane distinte. Riadattiamo questi modelli per elaborare dati relativi alle proteine, garantendo la generazione di strutture proteiche biologicamente fattibili. I nostri risultati dimostrano che, anche con dati limitati, i modelli adattati mostrano un'efficienza paragonabile a modelli consolidati focalizzati sulle proteine, come le varianti di ProGen, ProtGPT2 e ProLLaMA, che sono stati addestrati su milioni di sequenze proteiche. Per validare e quantificare le prestazioni dei nostri modelli, conduciamo analisi comparative utilizzando metriche standard come pLDDT, RMSD, TM-score e REU. Inoltre, ci impegniamo a rendere pubblicamente disponibili le versioni addestrate di tutti e quattro i modelli, promuovendo una maggiore trasparenza e collaborazione nel campo della biologia computazionale.

English

Pre-trained LLMs have demonstrated substantial capabilities across a range of conventional natural language processing (NLP) tasks, such as summarization and entity recognition. In this paper, we explore the application of LLMs in the generation of high-quality protein sequences. Specifically, we adopt a suite of pre-trained LLMs, including Mistral-7B1, Llama-2-7B2, Llama-3-8B3, and gemma-7B4, to produce valid protein sequences. All of these models are publicly available.5 Unlike previous work in this field, our approach utilizes a relatively small dataset comprising 42,000 distinct human protein sequences. We retrain these models to process protein-related data, ensuring the generation of biologically feasible protein structures. Our findings demonstrate that even with limited data, the adapted models exhibit efficiency comparable to established protein-focused models such as ProGen varieties, ProtGPT2, and ProLLaMA, which were trained on millions of protein sequences. To validate and quantify the performance of our models, we conduct comparative analyses employing standard metrics such as pLDDT, RMSD, TM-score, and REU. Furthermore, we commit to making the trained versions of all four models publicly available, fostering greater transparency and collaboration in the field of computational biology.