Ankh3: Pré-treinamento Multitarefa com Desnudação e Conclusão de Sequências Aprimora as Representações de Proteínas

Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

May 26, 2025

Autores: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar

cs.AI

Resumo

Os modelos de linguagem de proteínas (PLMs, na sigla em inglês) surgiram como ferramentas poderosas para detectar padrões complexos em sequências proteicas. No entanto, a capacidade dos PLMs de capturar completamente as informações sobre as sequências proteicas pode ser limitada ao se concentrar em tarefas únicas de pré-treinamento. Embora a adição de modalidades de dados ou objetivos supervisionados possa melhorar o desempenho dos PLMs, o pré-treinamento frequentemente permanece focado na descontaminação de sequências corrompidas. Para expandir os limites dos PLMs, nossa pesquisa investigou uma estratégia de pré-treinamento multitarefa. Desenvolvemos o Ankh3, um modelo otimizado conjuntamente em dois objetivos: modelagem de linguagem mascarada com múltiplas probabilidades de mascaramento e conclusão de sequências proteicas utilizando apenas sequências proteicas como entrada. Esse pré-treinamento multitarefa demonstrou que os PLMs podem aprender representações mais ricas e generalizáveis apenas a partir de sequências proteicas. Os resultados mostraram um desempenho aprimorado em tarefas subsequentes, como predição de estrutura secundária, fluorescência, aptidão GB1 e predição de contatos. A integração de múltiplas tarefas proporcionou ao modelo uma compreensão mais abrangente das propriedades das proteínas, levando a previsões mais robustas e precisas.

English

Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.