MMMU-Pro: Un Benchmark de Comprensión Multimodal Multidisciplinario Más Robusto

MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark

September 4, 2024

Autores: Xiang Yue, Tianyu Zheng, Yuansheng Ni, Yubo Wang, Kai Zhang, Shengbang Tong, Yuxuan Sun, Ming Yin, Botao Yu, Ge Zhang, Huan Sun, Yu Su, Wenhu Chen, Graham Neubig

cs.AI

Resumen

Este documento presenta MMMU-Pro, una versión robusta del benchmark de Comprensión y Razonamiento Multimodal Masivo (MMMU, por sus siglas en inglés). MMMU-Pro evalúa rigurosamente las verdaderas capacidades de comprensión y razonamiento de modelos multimodales a través de un proceso de tres pasos basado en MMMU: (1) filtrar preguntas que pueden ser respondidas por modelos solo de texto, (2) aumentar las opciones de candidatos, y (3) introducir un entorno de entrada solo de visión donde las preguntas están incrustadas en imágenes. Este entorno desafía a la IA a "ver" y "leer" verdaderamente de manera simultánea, poniendo a prueba una habilidad cognitiva humana fundamental de integrar de forma fluida información visual y textual. Los resultados muestran que el rendimiento del modelo es considerablemente menor en MMMU-Pro que en MMMU, con una variación del 16.8% al 26.9% entre modelos. Exploramos el impacto de las indicaciones de OCR y el razonamiento de Cadena de Pensamiento (CoT), encontrando que las indicaciones de OCR tienen un efecto mínimo mientras que CoT generalmente mejora el rendimiento. MMMU-Pro proporciona una herramienta de evaluación más rigurosa, imitando de cerca escenarios del mundo real y ofreciendo direcciones valiosas para futuras investigaciones en IA multimodal.

English

This paper introduces MMMU-Pro, a robust version of the Massive Multi-discipline Multimodal Understanding and Reasoning (MMMU) benchmark. MMMU-Pro rigorously assesses multimodal models' true understanding and reasoning capabilities through a three-step process based on MMMU: (1) filtering out questions answerable by text-only models, (2) augmenting candidate options, and (3) introducing a vision-only input setting where questions are embedded within images. This setting challenges AI to truly "see" and "read" simultaneously, testing a fundamental human cognitive skill of seamlessly integrating visual and textual information. Results show that model performance is substantially lower on MMMU-Pro than on MMMU, ranging from 16.8% to 26.9% across models. We explore the impact of OCR prompts and Chain of Thought (CoT) reasoning, finding that OCR prompts have minimal effect while CoT generally improves performance. MMMU-Pro provides a more rigorous evaluation tool, closely mimicking real-world scenarios and offering valuable directions for future research in multimodal AI.