Ankh3 : Prétraitement multitâche avec débruitage et complétion de séquences pour améliorer les représentations protéiques

Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

May 26, 2025

Auteurs: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar

cs.AI

Résumé

Les modèles de langage protéique (PLM) sont apparus comme des outils puissants pour détecter des motifs complexes dans les séquences protéiques. Cependant, la capacité des PLM à capturer pleinement les informations sur les séquences protéiques pourrait être limitée par une focalisation sur des tâches de pré-entraînement uniques. Bien que l'ajout de modalités de données ou d'objectifs supervisés puisse améliorer les performances des PLM, le pré-entraînement reste souvent centré sur le débruitage de séquences corrompues. Pour repousser les limites des PLM, notre recherche a exploré une stratégie de pré-entraînement multi-tâches. Nous avons développé Ankh3, un modèle optimisé conjointement sur deux objectifs : la modélisation de langage masqué avec des probabilités de masquage multiples et la complétion de séquences protéiques utilisant uniquement les séquences protéiques comme entrée. Ce pré-entraînement multi-tâches a démontré que les PLM peuvent apprendre des représentations plus riches et plus généralisables uniquement à partir des séquences protéiques. Les résultats ont montré une amélioration des performances dans des tâches en aval, telles que la prédiction de la structure secondaire, la fluorescence, la fitness GB1 et la prédiction de contacts. L'intégration de multiples tâches a permis au modèle d'acquérir une compréhension plus complète des propriétés des protéines, conduisant à des prédictions plus robustes et précises.

English

Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.