ProBench: Оценка мультимодальных базовых моделей на открытых экспертных задачах в различных областях

ProBench: Judging Multimodal Foundation Models on Open-ended Multi-domain Expert Tasks

March 10, 2025

Авторы: Yan Yang, Dongxu Li, Haoning Wu, Bei Chen, Liu Liu, Liyuan Pan, Junnan Li

cs.AI

Аннотация

Решение экспертных мультимодальных задач является ключевым этапом на пути к достижению общего интеллекта. По мере того, как возможности мультимодальных больших языковых моделей (MLLMs) продолжают улучшаться, оценка такого продвинутого мультимодального интеллекта становится необходимой, но при этом сложной задачей. В данной работе мы представляем ProBench — эталонный набор открытых пользовательских запросов, требующих профессиональной экспертизы и сложного рассуждения. ProBench состоит из 4000 высококачественных образцов, независимо предоставленных профессионалами на основе их повседневных производственных потребностей. Он охватывает 10 областей и 56 подразделов, включая науку, искусство, гуманитарные науки, программирование, математику и творческое письмо. Экспериментально мы оцениваем и сравниваем 24 последние модели, используя подход MLLM-as-a-Judge. Наши результаты показывают, что хотя лучшие модели с открытым исходным кодом конкурируют с проприетарными, ProBench представляет значительные вызовы в области визуального восприятия, текстового понимания, предметных знаний и сложного рассуждения, тем самым предоставляя ценные направления для будущих исследований в области мультимодального искусственного интеллекта.

English

Solving expert-level multimodal tasks is a key milestone towards general intelligence. As the capabilities of multimodal large language models (MLLMs) continue to improve, evaluation of such advanced multimodal intelligence becomes necessary yet challenging. In this work, we introduce ProBench, a benchmark of open-ended user queries that require professional expertise and advanced reasoning. ProBench consists of 4,000 high-quality samples independently submitted by professionals based on their daily productivity demands. It spans across 10 fields and 56 sub-fields, including science, arts, humanities, coding, mathematics, and creative writing. Experimentally, we evaluate and compare 24 latest models using MLLM-as-a-Judge. Our results reveal that although the best open-source models rival the proprietary ones, ProBench presents significant challenges in visual perception, textual understanding, domain knowledge and advanced reasoning, thus providing valuable directions for future multimodal AI research efforts.