MMMR : Évaluation comparative des tâches de raisonnement multimodal massif

MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks

May 22, 2025

Auteurs: Guiyao Tie, Xueyang Zhou, Tianhe Gu, Ruihang Zhang, Chaoran Hu, Sizhe Zhang, Mengqu Sun, Yan Zhang, Pan Zhou, Lichao Sun

cs.AI

Résumé

Les récents progrès des modèles de langage multi-modaux (MLLMs) ont permis un traitement unifié du langage, de la vision et des entrées structurées, ouvrant la voie à des tâches complexes telles que la déduction logique, le raisonnement spatial et l'analyse scientifique. Malgré leur potentiel, les capacités de raisonnement des MLLMs, en particulier ceux enrichis de traces de pensée intermédiaires (MLLMs-T), restent mal comprises et manquent de benchmarks d'évaluation standardisés. Les travaux existants se concentrent principalement sur la perception ou la justesse des réponses finales, offrant peu d'informations sur la manière dont les modèles raisonnent ou échouent à travers les modalités. Pour combler cette lacune, nous introduisons le MMMR, un nouveau benchmark conçu pour évaluer rigoureusement le raisonnement multi-modal avec une pensée explicite. Le MMMR comprend 1) un ensemble de données de haute difficulté de 1 083 questions couvrant six types de raisonnement divers avec une profondeur symbolique et des exigences multi-étapes, et 2) un pipeline modulaire d'évaluation des traces de raisonnement (RTEP) pour évaluer la qualité du raisonnement au-delà de la précision, à travers des métriques comme la pertinence, la cohérence et des annotations d'erreurs structurées. Les résultats empiriques montrent que les MLLMs-T surpassent globalement leurs homologues sans pensée, mais même les meilleurs modèles comme Claude-3.7-Sonnet et Gemini-2.5 Pro souffrent de pathologies de raisonnement telles que l'incohérence et la sur-réflexion. Ce benchmark révèle des écarts persistants entre la précision et la qualité du raisonnement et fournit un pipeline d'évaluation actionnable pour le développement futur des modèles. Globalement, le MMMR offre une base scalable pour évaluer, comparer et améliorer la prochaine génération de systèmes de raisonnement multi-modaux.

English

Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled unified processing of language, vision, and structured inputs, opening the door to complex tasks such as logical deduction, spatial reasoning, and scientific analysis. Despite their promise, the reasoning capabilities of MLLMs, particularly those augmented with intermediate thinking traces (MLLMs-T), remain poorly understood and lack standardized evaluation benchmarks. Existing work focuses primarily on perception or final answer correctness, offering limited insight into how models reason or fail across modalities. To address this gap, we introduce the MMMR, a new benchmark designed to rigorously evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a high-difficulty dataset of 1,083 questions spanning six diverse reasoning types with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy through metrics like relevance, consistency, and structured error annotations. Empirical results show that MLLMs-T overall outperform non-thinking counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro suffer from reasoning pathologies such as inconsistency and overthinking. This benchmark reveals persistent gaps between accuracy and reasoning quality and provides an actionable evaluation pipeline for future model development. Overall, the MMMR offers a scalable foundation for evaluating, comparing, and improving the next generation of multi-modal reasoning systems.