MME-Reasoning: Um Benchmark Abrangente para Raciocínio Lógico em MLLMs
MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs
May 27, 2025
Autores: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue
cs.AI
Resumo
O raciocínio lógico é um aspecto fundamental da inteligência humana e uma capacidade essencial para modelos de linguagem multimodal de grande escala (MLLMs). Apesar dos avanços significativos no raciocínio multimodal, os benchmarks existentes falham em avaliar de forma abrangente suas habilidades de raciocínio devido à falta de categorização explícita dos tipos de raciocínio lógico e a uma compreensão pouco clara do raciocínio. Para abordar essas questões, introduzimos o MME-Reasoning, um benchmark abrangente projetado para avaliar a capacidade de raciocínio dos MLLMs, que cobre todos os três tipos de raciocínio (ou seja, indutivo, dedutivo e abdutivo) em suas perguntas. Cuidadosamente selecionamos os dados para garantir que cada questão avalie efetivamente a capacidade de raciocínio, em vez de habilidades perceptivas ou amplitude de conhecimento, e estendemos os protocolos de avaliação para cobrir a avaliação de diversas questões. Nossa avaliação revela limitações substanciais dos MLLMs de última geração quando submetidos a avaliações holísticas de capacidades de raciocínio lógico. Mesmo os MLLMs mais avançados mostram desempenho limitado no raciocínio lógico abrangente, com desequilíbrios notáveis de desempenho entre os tipos de raciocínio. Além disso, realizamos uma análise aprofundada de abordagens como o "modo de pensamento" e o RL baseado em regras, que são comumente acreditados para melhorar as habilidades de raciocínio. Essas descobertas destacam as limitações críticas e os desequilíbrios de desempenho dos MLLMs atuais em diversos cenários de raciocínio lógico, fornecendo insights abrangentes e sistemáticos sobre a compreensão e avaliação das capacidades de raciocínio.
English
Logical reasoning is a fundamental aspect of human intelligence and an
essential capability for multimodal large language models (MLLMs). Despite the
significant advancement in multimodal reasoning, existing benchmarks fail to
comprehensively evaluate their reasoning abilities due to the lack of explicit
categorization for logical reasoning types and an unclear understanding of
reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive
benchmark designed to evaluate the reasoning ability of MLLMs, which covers all
three types of reasoning (i.e., inductive, deductive, and abductive) in its
questions. We carefully curate the data to ensure that each question
effectively evaluates reasoning ability rather than perceptual skills or
knowledge breadth, and extend the evaluation protocols to cover the evaluation
of diverse questions. Our evaluation reveals substantial limitations of
state-of-the-art MLLMs when subjected to holistic assessments of logical
reasoning capabilities. Even the most advanced MLLMs show limited performance
in comprehensive logical reasoning, with notable performance imbalances across
reasoning types. In addition, we conducted an in-depth analysis of approaches
such as ``thinking mode'' and Rule-based RL, which are commonly believed to
enhance reasoning abilities. These findings highlight the critical limitations
and performance imbalances of current MLLMs in diverse logical reasoning
scenarios, providing comprehensive and systematic insights into the
understanding and evaluation of reasoning capabilities.