MME-Reasoning: Un punto de referencia integral para el razonamiento lógico en MLLMs

MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs

May 27, 2025

Autores: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue

cs.AI

Resumen

El razonamiento lógico es un aspecto fundamental de la inteligencia humana y una capacidad esencial para los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés). A pesar de los avances significativos en el razonamiento multimodal, los puntos de referencia existentes no logran evaluar de manera integral sus habilidades de razonamiento debido a la falta de una categorización explícita de los tipos de razonamiento lógico y a una comprensión poco clara del razonamiento. Para abordar estos problemas, presentamos MME-Reasoning, un punto de referencia integral diseñado para evaluar la capacidad de razonamiento de los MLLMs, el cual cubre los tres tipos de razonamiento (es decir, inductivo, deductivo y abductivo) en sus preguntas. Cuidadosamente seleccionamos los datos para asegurar que cada pregunta evalúe efectivamente la capacidad de razonamiento en lugar de habilidades perceptivas o amplitud de conocimiento, y extendemos los protocolos de evaluación para cubrir la evaluación de preguntas diversas. Nuestra evaluación revela limitaciones sustanciales de los MLLMs más avanzados cuando se someten a evaluaciones holísticas de capacidades de razonamiento lógico. Incluso los MLLMs más avanzados muestran un rendimiento limitado en el razonamiento lógico integral, con desequilibrios notables en el rendimiento entre los tipos de razonamiento. Además, realizamos un análisis en profundidad de enfoques como el "modo de pensamiento" y el RL basado en reglas, que comúnmente se cree que mejoran las habilidades de razonamiento. Estos hallazgos resaltan las limitaciones críticas y los desequilibrios de rendimiento de los MLLMs actuales en diversos escenarios de razonamiento lógico, proporcionando una comprensión y evaluación integral y sistemática de las capacidades de razonamiento.

English

Logical reasoning is a fundamental aspect of human intelligence and an essential capability for multimodal large language models (MLLMs). Despite the significant advancement in multimodal reasoning, existing benchmarks fail to comprehensively evaluate their reasoning abilities due to the lack of explicit categorization for logical reasoning types and an unclear understanding of reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive benchmark designed to evaluate the reasoning ability of MLLMs, which covers all three types of reasoning (i.e., inductive, deductive, and abductive) in its questions. We carefully curate the data to ensure that each question effectively evaluates reasoning ability rather than perceptual skills or knowledge breadth, and extend the evaluation protocols to cover the evaluation of diverse questions. Our evaluation reveals substantial limitations of state-of-the-art MLLMs when subjected to holistic assessments of logical reasoning capabilities. Even the most advanced MLLMs show limited performance in comprehensive logical reasoning, with notable performance imbalances across reasoning types. In addition, we conducted an in-depth analysis of approaches such as ``thinking mode'' and Rule-based RL, which are commonly believed to enhance reasoning abilities. These findings highlight the critical limitations and performance imbalances of current MLLMs in diverse logical reasoning scenarios, providing comprehensive and systematic insights into the understanding and evaluation of reasoning capabilities.