ProteinBench : Une évaluation holistique des modèles de base de protéines

ProteinBench: A Holistic Evaluation of Protein Foundation Models

September 10, 2024

Auteurs: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu

cs.AI

Résumé

Les dernières années ont été marquées par une explosion du développement de modèles fondamentaux de protéines, améliorant significativement les performances dans la prédiction des protéines et les tâches génératives allant de la prédiction de la structure 3D et la conception de protéines à la dynamique conformationnelle. Cependant, les capacités et les limitations associées à ces modèles restent mal comprises en raison de l'absence d'un cadre d'évaluation unifié. Pour combler cette lacune, nous introduisons ProteinBench, un cadre d'évaluation holistique conçu pour améliorer la transparence des modèles fondamentaux de protéines. Notre approche se compose de trois composants clés : (i) une classification taxonomique des tâches englobant largement les principaux défis dans le domaine des protéines, basée sur les relations entre différentes modalités de protéines ; (ii) une approche d'évaluation multi-métrique qui évalue les performances à travers quatre dimensions clés : qualité, nouveauté, diversité et robustesse ; et (iii) des analyses approfondies des différents objectifs des utilisateurs, offrant une vue holistique des performances du modèle. Notre évaluation complète des modèles fondamentaux de protéines révèle plusieurs conclusions clés qui éclairent sur leurs capacités et limitations actuelles. Pour promouvoir la transparence et faciliter de nouvelles recherches, nous mettons à disposition publiquement l'ensemble de données d'évaluation, le code, et un tableau des scores publics pour une analyse ultérieure et un outil modulaire général. Nous souhaitons que ProteinBench devienne une référence vivante pour établir un cadre d'évaluation standardisé et approfondi pour les modèles fondamentaux de protéines, favorisant leur développement et leur application tout en encourageant la collaboration au sein du domaine.

English

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.