MME-Reasoning: Ein umfassender Benchmark für logisches Denken in MLLMs

MME-Reasoning: A Comprehensive Benchmark for Logical Reasoning in MLLMs

May 27, 2025

Autoren: Jiakang Yuan, Tianshuo Peng, Yilei Jiang, Yiting Lu, Renrui Zhang, Kaituo Feng, Chaoyou Fu, Tao Chen, Lei Bai, Bo Zhang, Xiangyu Yue

cs.AI

Zusammenfassung

Logisches Denken ist ein grundlegender Aspekt der menschlichen Intelligenz und eine wesentliche Fähigkeit für multimodale große Sprachmodelle (MLLMs). Trotz erheblicher Fortschritte im Bereich des multimodalen Denkens versagen bestehende Benchmarks bei der umfassenden Bewertung ihrer Denkfähigkeiten, da es an einer expliziten Kategorisierung von logischen Denktypen und einem klaren Verständnis des Denkens mangelt. Um diese Probleme zu lösen, stellen wir MME-Reasoning vor, einen umfassenden Benchmark, der entwickelt wurde, um die Denkfähigkeit von MLLMs zu bewerten und dabei alle drei Denktypen (d. h. induktiv, deduktiv und abduktiv) in seinen Fragen abdeckt. Wir haben die Daten sorgfältig kuratiert, um sicherzustellen, dass jede Frage die Denkfähigkeit effektiv bewertet und nicht Wahrnehmungsfähigkeiten oder Wissensbreite, und haben die Bewertungsprotokolle erweitert, um die Bewertung vielfältiger Fragen abzudecken. Unsere Bewertung zeigt erhebliche Einschränkungen der modernsten MLLMs bei ganzheitlichen Bewertungen der logischen Denkfähigkeiten. Selbst die fortschrittlichsten MLLMs zeigen begrenzte Leistung beim umfassenden logischen Denken, mit bemerkenswerten Leistungsungleichgewichten über die Denktypen hinweg. Darüber hinaus haben wir eine detaillierte Analyse von Ansätzen wie dem „Denkmodus“ und regelbasiertem RL durchgeführt, von denen allgemein angenommen wird, dass sie die Denkfähigkeiten verbessern. Diese Ergebnisse verdeutlichen die kritischen Einschränkungen und Leistungsungleichgewichte aktueller MLLMs in verschiedenen logischen Denkszenarien und bieten umfassende und systematische Einblicke in das Verständnis und die Bewertung von Denkfähigkeiten.

English

Logical reasoning is a fundamental aspect of human intelligence and an essential capability for multimodal large language models (MLLMs). Despite the significant advancement in multimodal reasoning, existing benchmarks fail to comprehensively evaluate their reasoning abilities due to the lack of explicit categorization for logical reasoning types and an unclear understanding of reasoning. To address these issues, we introduce MME-Reasoning, a comprehensive benchmark designed to evaluate the reasoning ability of MLLMs, which covers all three types of reasoning (i.e., inductive, deductive, and abductive) in its questions. We carefully curate the data to ensure that each question effectively evaluates reasoning ability rather than perceptual skills or knowledge breadth, and extend the evaluation protocols to cover the evaluation of diverse questions. Our evaluation reveals substantial limitations of state-of-the-art MLLMs when subjected to holistic assessments of logical reasoning capabilities. Even the most advanced MLLMs show limited performance in comprehensive logical reasoning, with notable performance imbalances across reasoning types. In addition, we conducted an in-depth analysis of approaches such as ``thinking mode'' and Rule-based RL, which are commonly believed to enhance reasoning abilities. These findings highlight the critical limitations and performance imbalances of current MLLMs in diverse logical reasoning scenarios, providing comprehensive and systematic insights into the understanding and evaluation of reasoning capabilities.