MMMR: Benchmarking von massiven Multi-Modal Reasoning-Aufgaben

MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks

May 22, 2025

Autoren: Guiyao Tie, Xueyang Zhou, Tianhe Gu, Ruihang Zhang, Chaoran Hu, Sizhe Zhang, Mengqu Sun, Yan Zhang, Pan Zhou, Lichao Sun

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Multi-Modalen Großen Sprachmodellen (MLLMs) haben die einheitliche Verarbeitung von Sprache, Bildern und strukturierten Eingaben ermöglicht, wodurch komplexe Aufgaben wie logische Deduktion, räumliches Denken und wissenschaftliche Analyse zugänglich geworden sind. Trotz ihres Potenzials sind die Denkfähigkeiten von MLLMs, insbesondere solchen, die mit Zwischengedankenspuren (MLLMs-T) erweitert wurden, noch wenig verstanden und es fehlen standardisierte Bewertungsbenchmarks. Bisherige Arbeiten konzentrieren sich hauptsächlich auf Wahrnehmung oder die Korrektheit der Endantworten und bieten nur begrenzte Einblicke, wie Modelle über verschiedene Modalitäten hinweg denken oder scheitern. Um diese Lücke zu schließen, stellen wir den MMMR vor, einen neuen Benchmark, der darauf abzielt, multi-modales Denken mit expliziten Denkprozessen rigoros zu bewerten. Der MMMR besteht aus 1) einem hochschwierigen Datensatz mit 1.083 Fragen, die sechs verschiedene Denktypen mit symbolischer Tiefe und mehrstufigen Anforderungen abdecken, und 2) einer modularen Reasoning Trace Evaluation Pipeline (RTEP), die die Qualität des Denkens über die Genauigkeit hinaus durch Metriken wie Relevanz, Konsistenz und strukturierte Fehlerannotationen bewertet. Empirische Ergebnisse zeigen, dass MLLMs-T insgesamt besser abschneiden als Modelle ohne Denkprozesse, aber selbst Spitzenmodelle wie Claude-3.7-Sonnet und Gemini-2.5 Pro leiden unter Denkpathologien wie Inkonsistenz und Überdenken. Dieser Benchmark offenbart anhaltende Lücken zwischen Genauigkeit und Denkqualität und bietet eine umsetzbare Bewertungspipeline für die zukünftige Modellentwicklung. Insgesamt bietet der MMMR eine skalierbare Grundlage für die Bewertung, den Vergleich und die Verbesserung der nächsten Generation multi-modaler Denksysteme.

English

Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled unified processing of language, vision, and structured inputs, opening the door to complex tasks such as logical deduction, spatial reasoning, and scientific analysis. Despite their promise, the reasoning capabilities of MLLMs, particularly those augmented with intermediate thinking traces (MLLMs-T), remain poorly understood and lack standardized evaluation benchmarks. Existing work focuses primarily on perception or final answer correctness, offering limited insight into how models reason or fail across modalities. To address this gap, we introduce the MMMR, a new benchmark designed to rigorously evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a high-difficulty dataset of 1,083 questions spanning six diverse reasoning types with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy through metrics like relevance, consistency, and structured error annotations. Empirical results show that MLLMs-T overall outperform non-thinking counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro suffer from reasoning pathologies such as inconsistency and overthinking. This benchmark reveals persistent gaps between accuracy and reasoning quality and provides an actionable evaluation pipeline for future model development. Overall, the MMMR offers a scalable foundation for evaluating, comparing, and improving the next generation of multi-modal reasoning systems.