MMMR: Evaluación de Tareas de Razonamiento Multimodal Masivo

MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks

May 22, 2025

Autores: Guiyao Tie, Xueyang Zhou, Tianhe Gu, Ruihang Zhang, Chaoran Hu, Sizhe Zhang, Mengqu Sun, Yan Zhang, Pan Zhou, Lichao Sun

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han permitido el procesamiento unificado de lenguaje, visión y entradas estructuradas, abriendo la puerta a tareas complejas como la deducción lógica, el razonamiento espacial y el análisis científico. A pesar de su potencial, las capacidades de razonamiento de los MLLMs, particularmente aquellos aumentados con trazas de pensamiento intermedio (MLLMs-T), siguen siendo poco comprendidas y carecen de puntos de referencia estandarizados para su evaluación. El trabajo existente se centra principalmente en la percepción o en la corrección de la respuesta final, ofreciendo una visión limitada sobre cómo los modelos razonan o fallan a través de las modalidades. Para abordar esta brecha, presentamos el MMMR, un nuevo punto de referencia diseñado para evaluar rigurosamente el razonamiento multimodal con pensamiento explícito. El MMMR comprende 1) un conjunto de datos de alta dificultad con 1,083 preguntas que abarcan seis tipos diversos de razonamiento con profundidad simbólica y demandas de múltiples saltos, y 2) una Pipeline de Evaluación de Trazas de Razonamiento (RTEP, por sus siglas en inglés) modular para evaluar la calidad del razonamiento más allá de la precisión, mediante métricas como relevancia, consistencia y anotaciones estructuradas de errores. Los resultados empíricos muestran que los MLLMs-T superan en general a sus contrapartes sin pensamiento intermedio, pero incluso los modelos más avanzados como Claude-3.7-Sonnet y Gemini-2.5 Pro sufren de patologías de razonamiento como inconsistencia y sobrepensamiento. Este punto de referencia revela brechas persistentes entre la precisión y la calidad del razonamiento y proporciona una pipeline de evaluación accionable para el desarrollo futuro de modelos. En general, el MMMR ofrece una base escalable para evaluar, comparar y mejorar la próxima generación de sistemas de razonamiento multimodal.

English

Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled unified processing of language, vision, and structured inputs, opening the door to complex tasks such as logical deduction, spatial reasoning, and scientific analysis. Despite their promise, the reasoning capabilities of MLLMs, particularly those augmented with intermediate thinking traces (MLLMs-T), remain poorly understood and lack standardized evaluation benchmarks. Existing work focuses primarily on perception or final answer correctness, offering limited insight into how models reason or fail across modalities. To address this gap, we introduce the MMMR, a new benchmark designed to rigorously evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a high-difficulty dataset of 1,083 questions spanning six diverse reasoning types with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy through metrics like relevance, consistency, and structured error annotations. Empirical results show that MLLMs-T overall outperform non-thinking counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro suffer from reasoning pathologies such as inconsistency and overthinking. This benchmark reveals persistent gaps between accuracy and reasoning quality and provides an actionable evaluation pipeline for future model development. Overall, the MMMR offers a scalable foundation for evaluating, comparing, and improving the next generation of multi-modal reasoning systems.