ProBench: Valutazione di Modelli Fondamentali Multimodali su Compiti Esperti Aperti e Multi-dominio

ProBench: Judging Multimodal Foundation Models on Open-ended Multi-domain Expert Tasks

March 10, 2025

Autori: Yan Yang, Dongxu Li, Haoning Wu, Bei Chen, Liu Liu, Liyuan Pan, Junnan Li

cs.AI

Abstract

Risolvere compiti multimodali di livello esperto rappresenta una pietra miliare fondamentale verso l'intelligenza generale. Con il continuo miglioramento delle capacità dei modelli linguistici multimodali di grandi dimensioni (MLLM), la valutazione di tale intelligenza multimodale avanzata diventa necessaria ma impegnativa. In questo lavoro, introduciamo ProBench, un benchmark di query aperte degli utenti che richiedono competenze professionali e ragionamento avanzato. ProBench è composto da 4.000 campioni di alta qualità, inviati in modo indipendente da professionisti in base alle loro esigenze quotidiane di produttività. Copre 10 campi e 56 sottocampi, tra cui scienza, arte, discipline umanistiche, programmazione, matematica e scrittura creativa. Sperimentalmente, valutiamo e confrontiamo 24 dei modelli più recenti utilizzando MLLM-as-a-Judge. I nostri risultati rivelano che, sebbene i migliori modelli open source rivaleggino con quelli proprietari, ProBench presenta sfide significative nella percezione visiva, nella comprensione testuale, nella conoscenza del dominio e nel ragionamento avanzato, fornendo così indicazioni preziose per i futuri sforzi di ricerca sull'intelligenza artificiale multimodale.

English

Solving expert-level multimodal tasks is a key milestone towards general intelligence. As the capabilities of multimodal large language models (MLLMs) continue to improve, evaluation of such advanced multimodal intelligence becomes necessary yet challenging. In this work, we introduce ProBench, a benchmark of open-ended user queries that require professional expertise and advanced reasoning. ProBench consists of 4,000 high-quality samples independently submitted by professionals based on their daily productivity demands. It spans across 10 fields and 56 sub-fields, including science, arts, humanities, coding, mathematics, and creative writing. Experimentally, we evaluate and compare 24 latest models using MLLM-as-a-Judge. Our results reveal that although the best open-source models rival the proprietary ones, ProBench presents significant challenges in visual perception, textual understanding, domain knowledge and advanced reasoning, thus providing valuable directions for future multimodal AI research efforts.