ProBench: Avaliando Modelos Fundacionais Multimodais em Tarefas Especializadas de Múltiplos Domínios com Respostas Abertas

ProBench: Judging Multimodal Foundation Models on Open-ended Multi-domain Expert Tasks

March 10, 2025

Autores: Yan Yang, Dongxu Li, Haoning Wu, Bei Chen, Liu Liu, Liyuan Pan, Junnan Li

cs.AI

Resumo

Resolver tarefas multimodais de nível especializado é um marco crucial para a inteligência geral. À medida que as capacidades dos modelos de linguagem multimodal de grande escala (MLLMs) continuam a melhorar, a avaliação dessa inteligência multimodal avançada torna-se necessária, porém desafiadora. Neste trabalho, apresentamos o ProBench, um benchmark de consultas abertas de usuários que exigem expertise profissional e raciocínio avançado. O ProBench consiste em 4.000 amostras de alta qualidade, submetidas de forma independente por profissionais com base em suas demandas diárias de produtividade. Ele abrange 10 áreas e 56 subáreas, incluindo ciências, artes, humanidades, programação, matemática e escrita criativa. Experimentalmente, avaliamos e comparamos 24 dos modelos mais recentes utilizando o MLLM-as-a-Judge. Nossos resultados revelam que, embora os melhores modelos de código aberto rivalizem com os proprietários, o ProBench apresenta desafios significativos em percepção visual, compreensão textual, conhecimento de domínio e raciocínio avançado, fornecendo assim direções valiosas para futuros esforços de pesquisa em IA multimodal.

English

Solving expert-level multimodal tasks is a key milestone towards general intelligence. As the capabilities of multimodal large language models (MLLMs) continue to improve, evaluation of such advanced multimodal intelligence becomes necessary yet challenging. In this work, we introduce ProBench, a benchmark of open-ended user queries that require professional expertise and advanced reasoning. ProBench consists of 4,000 high-quality samples independently submitted by professionals based on their daily productivity demands. It spans across 10 fields and 56 sub-fields, including science, arts, humanities, coding, mathematics, and creative writing. Experimentally, we evaluate and compare 24 latest models using MLLM-as-a-Judge. Our results reveal that although the best open-source models rival the proprietary ones, ProBench presents significant challenges in visual perception, textual understanding, domain knowledge and advanced reasoning, thus providing valuable directions for future multimodal AI research efforts.