ProteinBench: Una Evaluación Integral de Modelos Fundamentales de Proteínas

ProteinBench: A Holistic Evaluation of Protein Foundation Models

September 10, 2024

Autores: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu

cs.AI

Resumen

Los últimos años han sido testigos de un aumento en el desarrollo de modelos fundamentales de proteínas, mejorando significativamente el rendimiento en la predicción de proteínas y tareas generativas que van desde la predicción de estructuras 3D y diseño de proteínas hasta dinámicas conformacionales. Sin embargo, las capacidades y limitaciones asociadas con estos modelos siguen siendo poco comprendidas debido a la falta de un marco de evaluación unificado. Para llenar este vacío, presentamos ProteinBench, un marco de evaluación integral diseñado para mejorar la transparencia de los modelos fundamentales de proteínas. Nuestro enfoque consta de tres componentes clave: (i) Una clasificación taxonómica de tareas que abarca ampliamente los principales desafíos en el dominio de las proteínas, basada en las relaciones entre diferentes modalidades de proteínas; (ii) Un enfoque de evaluación multi-métrico que evalúa el rendimiento en cuatro dimensiones clave: calidad, novedad, diversidad y robustez; y (iii) Análisis en profundidad desde varios objetivos de usuario, proporcionando una visión holística del rendimiento del modelo. Nuestra evaluación exhaustiva de los modelos fundamentales de proteínas revela varios hallazgos clave que arrojan luz sobre sus capacidades y limitaciones actuales. Para promover la transparencia y facilitar una mayor investigación, publicamos el conjunto de datos de evaluación, el código y un tablero público para un análisis adicional y un kit de herramientas modular general. Nuestro objetivo es que ProteinBench sea un referente en constante evolución para establecer un marco de evaluación estandarizado y profundo para los modelos fundamentales de proteínas, impulsando su desarrollo y aplicación al mismo tiempo que fomenta la colaboración dentro del campo.

English

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.