MME-Reasoning : Un Benchmark Complet pour le Raisonnement Logique dans les MLLMs

MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs

May 27, 2025

Auteurs: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue

cs.AI

Résumé

Le raisonnement logique est un aspect fondamental de l'intelligence humaine et une capacité essentielle pour les modèles de langage multimodaux de grande envergure (MLLMs). Malgré les avancées significatives dans le raisonnement multimodal, les benchmarks existants ne parviennent pas à évaluer de manière exhaustive leurs capacités de raisonnement en raison de l'absence de catégorisation explicite des types de raisonnement logique et d'une compréhension floue du raisonnement. Pour résoudre ces problèmes, nous introduisons MME-Reasoning, un benchmark complet conçu pour évaluer la capacité de raisonnement des MLLMs, qui couvre les trois types de raisonnement (à savoir inductif, déductif et abductif) dans ses questions. Nous avons soigneusement sélectionné les données pour garantir que chaque question évalue efficacement la capacité de raisonnement plutôt que les compétences perceptuelles ou l'étendue des connaissances, et avons étendu les protocoles d'évaluation pour couvrir l'évaluation de questions diversifiées. Notre évaluation révèle des limitations substantielles des MLLMs de pointe lorsqu'ils sont soumis à des évaluations holistiques des capacités de raisonnement logique. Même les MLLMs les plus avancés montrent des performances limitées en matière de raisonnement logique complet, avec des déséquilibres de performance notables entre les types de raisonnement. En outre, nous avons mené une analyse approfondie des approches telles que le « mode de pensée » et le RL basé sur des règles, qui sont communément considérées comme améliorant les capacités de raisonnement. Ces résultats mettent en évidence les limitations critiques et les déséquilibres de performance des MLLMs actuels dans divers scénarios de raisonnement logique, fournissant des insights complets et systématiques pour la compréhension et l'évaluation des capacités de raisonnement.

English

Logical reasoning is a fundamental aspect of human intelligence and an essential capability for multimodal large language models (MLLMs). Despite the significant advancement in multimodal reasoning, existing benchmarks fail to comprehensively evaluate their reasoning abilities due to the lack of explicit categorization for logical reasoning types and an unclear understanding of reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive benchmark designed to evaluate the reasoning ability of MLLMs, which covers all three types of reasoning (i.e., inductive, deductive, and abductive) in its questions. We carefully curate the data to ensure that each question effectively evaluates reasoning ability rather than perceptual skills or knowledge breadth, and extend the evaluation protocols to cover the evaluation of diverse questions. Our evaluation reveals substantial limitations of state-of-the-art MLLMs when subjected to holistic assessments of logical reasoning capabilities. Even the most advanced MLLMs show limited performance in comprehensive logical reasoning, with notable performance imbalances across reasoning types. In addition, we conducted an in-depth analysis of approaches such as ``thinking mode'' and Rule-based RL, which are commonly believed to enhance reasoning abilities. These findings highlight the critical limitations and performance imbalances of current MLLMs in diverse logical reasoning scenarios, providing comprehensive and systematic insights into the understanding and evaluation of reasoning capabilities.