ProteinBench: Комплексная оценка моделей белковых структур

ProteinBench: A Holistic Evaluation of Protein Foundation Models

September 10, 2024

Авторы: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu

cs.AI

Аннотация

Последние годы стали свидетелями всплеска развития моделей белковых основ, значительно улучшающих производительность в предсказании белков и генеративных задачах, включая предсказание 3D-структуры и дизайн белков, а также конформационную динамику. Однако возможности и ограничения, связанные с этими моделями, остаются плохо понятыми из-за отсутствия единой системы оценки. Для заполнения этой пробела мы представляем ProteinBench, голистическую систему оценки, разработанную для повышения прозрачности моделей белковых основ. Наш подход состоит из трех ключевых компонентов: (i) Таксономическая классификация задач, широко охватывающих основные вызовы в области белков, основанная на взаимосвязях между различными модальностями белков; (ii) Мульти-метрический подход к оценке производительности по четырем ключевым измерениям: качеству, новизне, разнообразию и устойчивости; и (iii) Глубокий анализ с различных пользовательских целей, обеспечивающий голистическое представление о производительности модели. Наше всестороннее исследование моделей белковых основ раскрывает несколько ключевых результатов, проливающих свет на их текущие возможности и ограничения. Для содействия прозрачности и стимулирования дальнейших исследований мы публикуем набор данных для оценки, код и общедоступную таблицу лидеров для дальнейшего анализа и общего модульного инструментария. Мы надеемся, что ProteinBench станет живым эталоном для установления стандартизированной, всесторонней системы оценки моделей белковых основ, способствуя их развитию и применению, а также содействуя сотрудничеству в данной области.

English

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.