MME-Reasoning: Een Uitgebreide Benchmark voor Logisch Redeneren in MLLM's
MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs
May 27, 2025
Auteurs: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue
cs.AI
Samenvatting
Logisch redeneren is een fundamenteel aspect van menselijke intelligentie en een essentiële vaardigheid voor multimodale grote taalmodellen (MLLMs). Ondanks de aanzienlijke vooruitgang in multimodaal redeneren, slagen bestaande benchmarks er niet in om hun redeneervaardigheden uitgebreid te evalueren vanwege het ontbreken van een expliciete categorisering van logische redeneertypen en een onduidelijk begrip van redeneren. Om deze problemen aan te pakken, introduceren we MME-Reasoning, een uitgebreide benchmark die is ontworpen om de redeneervaardigheid van MLLMs te evalueren, waarbij alle drie de redeneertypen (d.w.z. inductief, deductief en abductief) in de vragen worden behandeld. We hebben de data zorgvuldig samengesteld om ervoor te zorgen dat elke vraag effectief de redeneervaardigheid evalueert in plaats van perceptuele vaardigheden of kennisbreedte, en hebben de evaluatieprotocollen uitgebreid om de evaluatie van diverse vragen te dekken. Onze evaluatie onthult aanzienlijke beperkingen van state-of-the-art MLLMs wanneer ze worden onderworpen aan holistische beoordelingen van logische redeneervaardigheden. Zelfs de meest geavanceerde MLLMs vertonen beperkte prestaties in uitgebreid logisch redeneren, met opvallende prestatieonevenwichtigheden tussen redeneertypen. Daarnaast hebben we een diepgaande analyse uitgevoerd van benaderingen zoals "denkmodus" en Rule-based RL, waarvan algemeen wordt aangenomen dat ze redeneervaardigheden verbeteren. Deze bevindingen benadrukken de kritieke beperkingen en prestatieonevenwichtigheden van huidige MLLMs in diverse logische redeneerscenario's, en bieden uitgebreide en systematische inzichten in het begrip en de evaluatie van redeneervaardigheden.
English
Logical reasoning is a fundamental aspect of human intelligence and an
essential capability for multimodal large language models (MLLMs). Despite the
significant advancement in multimodal reasoning, existing benchmarks fail to
comprehensively evaluate their reasoning abilities due to the lack of explicit
categorization for logical reasoning types and an unclear understanding of
reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive
benchmark designed to evaluate the reasoning ability of MLLMs, which covers all
three types of reasoning (i.e., inductive, deductive, and abductive) in its
questions. We carefully curate the data to ensure that each question
effectively evaluates reasoning ability rather than perceptual skills or
knowledge breadth, and extend the evaluation protocols to cover the evaluation
of diverse questions. Our evaluation reveals substantial limitations of
state-of-the-art MLLMs when subjected to holistic assessments of logical
reasoning capabilities. Even the most advanced MLLMs show limited performance
in comprehensive logical reasoning, with notable performance imbalances across
reasoning types. In addition, we conducted an in-depth analysis of approaches
such as ``thinking mode'' and Rule-based RL, which are commonly believed to
enhance reasoning abilities. These findings highlight the critical limitations
and performance imbalances of current MLLMs in diverse logical reasoning
scenarios, providing comprehensive and systematic insights into the
understanding and evaluation of reasoning capabilities.