Ankh3: Многозадачное предобучение с шумоподавлением и восстановлением последовательностей улучшает представления белков

Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

May 26, 2025

Авторы: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar

cs.AI

Аннотация

Языковые модели для белков (PLMs) стали мощным инструментом для выявления сложных закономерностей в белковых последовательностях. Однако способность PLMs полностью улавливать информацию о белковых последовательностях может быть ограничена из-за фокусировки на единичных задачах предварительного обучения. Хотя добавление дополнительных модальностей данных или контролируемых целей может улучшить производительность PLMs, предварительное обучение часто остается сосредоточенным на восстановлении зашумленных последовательностей. Чтобы расширить возможности PLMs, наше исследование изучило стратегию многозадачного предварительного обучения. Мы разработали Ankh3 — модель, оптимизированную одновременно для двух задач: маскированного языкового моделирования с различными вероятностями маскирования и завершения белковых последовательностей, использующую только белковые последовательности в качестве входных данных. Это многозадачное предварительное обучение показало, что PLMs могут извлекать более богатые и обобщаемые представления исключительно из белковых последовательностей. Результаты продемонстрировали улучшение производительности в таких задачах, как предсказание вторичной структуры, флуоресценция, фитнес GB1 и предсказание контактов. Интеграция нескольких задач позволила модели получить более полное понимание свойств белков, что привело к более надежным и точным предсказаниям.

English

Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.