Ankh3: Pretrenamiento Multitarea con Desenmascaramiento y Completado de Secuencias Mejora las Representaciones de Proteínas

Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

May 26, 2025

Autores: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar

cs.AI

Resumen

Los modelos de lenguaje de proteínas (PLMs, por sus siglas en inglés) han surgido como herramientas poderosas para detectar patrones complejos en secuencias de proteínas. Sin embargo, la capacidad de los PLMs para capturar completamente la información sobre las secuencias de proteínas podría verse limitada al enfocarse en tareas únicas de preentrenamiento. Aunque la adición de modalidades de datos u objetivos supervisados puede mejorar el rendimiento de los PLMs, el preentrenamiento a menudo sigue centrado en la eliminación de ruido en secuencias corruptas. Para ampliar los límites de los PLMs, nuestra investigación exploró una estrategia de preentrenamiento multitarea. Desarrollamos Ankh3, un modelo optimizado conjuntamente en dos objetivos: modelado de lenguaje enmascarado con múltiples probabilidades de enmascaramiento y completación de secuencias de proteínas utilizando únicamente secuencias de proteínas como entrada. Este preentrenamiento multitarea demostró que los PLMs pueden aprender representaciones más ricas y generalizables únicamente a partir de secuencias de proteínas. Los resultados mostraron un mejor rendimiento en tareas posteriores, como la predicción de estructura secundaria, fluorescencia, aptitud GB1 y predicción de contactos. La integración de múltiples tareas proporcionó al modelo una comprensión más completa de las propiedades de las proteínas, lo que condujo a predicciones más robustas y precisas.

English

Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.