Ankh3: Pre-addestramento Multi-Task con Denoising e Completamento di Sequenze Migliora le Rappresentazioni Proteiche

Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

May 26, 2025

Autori: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar

cs.AI

Abstract

I modelli linguistici per proteine (PLM) sono emersi come strumenti potenti per rilevare modelli complessi nelle sequenze proteiche. Tuttavia, la capacità dei PLM di catturare pienamente le informazioni sulle sequenze proteiche potrebbe essere limitata dal concentrarsi su singoli compiti di pre-addestramento. Sebbene l'aggiunta di modalità di dati o obiettivi supervisionati possa migliorare le prestazioni dei PLM, il pre-addestramento rimane spesso focalizzato sulla rimozione del rumore da sequenze corrotte. Per spingere i limiti dei PLM, la nostra ricerca ha esplorato una strategia di pre-addestramento multi-task. Abbiamo sviluppato Ankh3, un modello ottimizzato congiuntamente su due obiettivi: modellazione linguistica mascherata con probabilità di mascheramento multiple e completamento di sequenze proteiche basato esclusivamente su sequenze proteiche come input. Questo pre-addestramento multi-task ha dimostrato che i PLM possono apprendere rappresentazioni più ricche e generalizzabili unicamente dalle sequenze proteiche. I risultati hanno mostrato prestazioni migliorate in compiti downstream, come la previsione della struttura secondaria, fluorescenza, fitness GB1 e previsione dei contatti. L'integrazione di più compiti ha conferito al modello una comprensione più completa delle proprietà proteiche, portando a previsioni più robuste e accurate.

English

Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.