ProteinBench: Uma Avaliação Holística de Modelos Fundamentais de Proteínas

ProteinBench: A Holistic Evaluation of Protein Foundation Models

September 10, 2024

Autores: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu

cs.AI

Resumo

Os últimos anos testemunharam um aumento no desenvolvimento de modelos de base de proteínas, melhorando significativamente o desempenho na previsão de proteínas e tarefas generativas que vão desde a previsão de estruturas 3D e design de proteínas até dinâmicas conformacionais. No entanto, as capacidades e limitações associadas a esses modelos ainda são pouco compreendidas devido à ausência de um framework unificado de avaliação. Para preencher essa lacuna, apresentamos o ProteinBench, um framework de avaliação holístico projetado para melhorar a transparência dos modelos de base de proteínas. Nossa abordagem consiste em três componentes-chave: (i) Uma classificação taxonômica de tarefas que abrangem amplamente os principais desafios no domínio das proteínas, com base nas relações entre diferentes modalidades de proteínas; (ii) Uma abordagem de avaliação multi-métrica que avalia o desempenho em quatro dimensões-chave: qualidade, novidade, diversidade e robustez; e (iii) Análises aprofundadas de vários objetivos do usuário, fornecendo uma visão holística do desempenho do modelo. Nossa avaliação abrangente de modelos de base de proteínas revela várias descobertas-chave que lançam luz sobre suas capacidades e limitações atuais. Para promover a transparência e facilitar pesquisas adicionais, disponibilizamos publicamente o conjunto de dados de avaliação, código e uma classificação pública para análises adicionais e um toolkit modular geral. Pretendemos que o ProteinBench seja um benchmark em evolução para estabelecer um framework de avaliação padronizado e aprofundado para modelos de base de proteínas, impulsionando seu desenvolvimento e aplicação, enquanto fomenta a colaboração dentro do campo.

English

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.