단백질기초모델의 종합적 평가: ProteinBench

ProteinBench: A Holistic Evaluation of Protein Foundation Models

September 10, 2024

저자: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu

cs.AI

초록

최근 몇 년간 단백질 기반 모델의 발전이 급격히 증가하여, 3D 구조 예측 및 단백질 설계, 구조 변형 역학에 이르는 생성 작업에서의 성능이 크게 향상되었습니다. 그러나 이러한 모델과 관련된 능력과 한계는 통합된 평가 프레임워크의 부재로 인해 잘 이해되지 않고 있습니다. 이 갭을 메우기 위해, 우리는 ProteinBench를 소개합니다. ProteinBench는 단백질 기반 모델의 투명성을 향상시키기 위해 설계된 종합적인 평가 프레임워크입니다. 우리의 접근 방식은 세 가지 주요 구성 요소로 구성되어 있습니다: (i) 단백질 도메인의 주요 도전 과제를 넓게 포괄하는 작업의 분류 체계, 다양한 단백질 모달리티 간의 관계에 기초합니다; (ii) 품질, 독창성, 다양성, 견고성 네 가지 주요 차원에서 성능을 평가하는 다중 메트릭 평가 접근 방식; 및 (iii) 다양한 사용자 목표에 대한 철저한 분석을 통해 모델 성능의 종합적인 시각을 제공합니다. 우리의 단백질 기반 모델의 포괄적인 평가는 현재의 능력과 한계에 대한 몇 가지 주요 결과를 밝혀 냅니다. 투명성을 증진하고 추가 연구를 촉진하기 위해, 우리는 평가 데이터 세트, 코드, 그리고 일반적인 모듈식 도구킷을 위한 공개 리더보드를 공개적으로 공개합니다. ProteinBench를 통해 단백질 기반 모델의 표준화된, 철저한 평가 프레임워크를 수립하는 데 사용되는 살아있는 벤치마크로 만들고, 이를 통해 그들의 발전과 응용을 촉진하며 분야 내 협력을 육성하기를 의도합니다.

English

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.