MMMR: Benchmarking per Compiti di Ragionamento Multi-Modale Massivo
MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks
May 22, 2025
Autori: Guiyao Tie, Xueyang Zhou, Tianhe Gu, Ruihang Zhang, Chaoran Hu, Sizhe Zhang, Mengqu Sun, Yan Zhang, Pan Zhou, Lichao Sun
cs.AI
Abstract
I recenti progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno consentito l'elaborazione unificata di linguaggio, visione e input strutturati, aprendo la strada a compiti complessi come la deduzione logica, il ragionamento spaziale e l'analisi scientifica. Nonostante il loro potenziale, le capacità di ragionamento degli MLLMs, in particolare quelli potenziati con tracce di pensiero intermedie (MLLMs-T), rimangono poco comprese e mancano di benchmark di valutazione standardizzati. Il lavoro esistente si concentra principalmente sulla percezione o sulla correttezza delle risposte finali, offrendo una visione limitata su come i modelli ragionano o falliscono attraverso le modalità. Per colmare questa lacuna, introduciamo il MMMR, un nuovo benchmark progettato per valutare rigorosamente il ragionamento multimodale con pensiero esplicito. Il MMMR comprende 1) un dataset ad alta difficoltà di 1.083 domande che coprono sei tipi di ragionamento diversi con profondità simbolica e richieste multi-hop e 2) una pipeline modulare di valutazione delle tracce di ragionamento (RTEP) per valutare la qualità del ragionamento oltre l'accuratezza attraverso metriche come rilevanza, coerenza e annotazioni strutturate degli errori. I risultati empirici mostrano che gli MLLMs-T superano complessivamente le controparti senza pensiero, ma anche i modelli migliori come Claude-3.7-Sonnet e Gemini-2.5 Pro soffrono di patologie di ragionamento come incoerenza e sovrappensiero. Questo benchmark rivela persistenti lacune tra accuratezza e qualità del ragionamento e fornisce una pipeline di valutazione azionabile per lo sviluppo futuro dei modelli. Nel complesso, il MMMR offre una base scalabile per valutare, confrontare e migliorare la prossima generazione di sistemi di ragionamento multimodale.
English
Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled
unified processing of language, vision, and structured inputs, opening the door
to complex tasks such as logical deduction, spatial reasoning, and scientific
analysis. Despite their promise, the reasoning capabilities of MLLMs,
particularly those augmented with intermediate thinking traces (MLLMs-T),
remain poorly understood and lack standardized evaluation benchmarks. Existing
work focuses primarily on perception or final answer correctness, offering
limited insight into how models reason or fail across modalities. To address
this gap, we introduce the MMMR, a new benchmark designed to rigorously
evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a
high-difficulty dataset of 1,083 questions spanning six diverse reasoning types
with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace
Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy
through metrics like relevance, consistency, and structured error annotations.
Empirical results show that MLLMs-T overall outperform non-thinking
counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro
suffer from reasoning pathologies such as inconsistency and overthinking. This
benchmark reveals persistent gaps between accuracy and reasoning quality and
provides an actionable evaluation pipeline for future model development.
Overall, the MMMR offers a scalable foundation for evaluating, comparing, and
improving the next generation of multi-modal reasoning systems.