MMMR: Avaliação de Tarefas de Raciocínio Massivamente Multimodal
MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks
May 22, 2025
Autores: Guiyao Tie, Xueyang Zhou, Tianhe Gu, Ruihang Zhang, Chaoran Hu, Sizhe Zhang, Mengqu Sun, Yan Zhang, Pan Zhou, Lichao Sun
cs.AI
Resumo
Os recentes avanços em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) têm permitido o processamento unificado de linguagem, visão e entradas estruturadas, abrindo caminho para tarefas complexas como dedução lógica, raciocínio espacial e análise científica. Apesar de seu potencial, as capacidades de raciocínio dos MLLMs, especialmente aqueles aprimorados com traços de pensamento intermediário (MLLMs-T), permanecem pouco compreendidas e carecem de benchmarks de avaliação padronizados. O trabalho existente foca principalmente na percepção ou na correção da resposta final, oferecendo insights limitados sobre como os modelos raciocinam ou falham entre modalidades. Para abordar essa lacuna, introduzimos o MMMR, um novo benchmark projetado para avaliar rigorosamente o raciocínio multimodal com pensamento explícito. O MMMR compreende 1) um conjunto de dados de alta dificuldade com 1.083 questões abrangendo seis tipos diversos de raciocínio com profundidade simbólica e demandas de múltiplos passos e 2) um Pipeline de Avaliação de Traços de Raciocínio (RTEP) modular para avaliar a qualidade do raciocínio além da precisão, por meio de métricas como relevância, consistência e anotações estruturadas de erros. Resultados empíricos mostram que os MLLMs-T geralmente superam suas contrapartes sem pensamento, mas até mesmo modelos de ponta como Claude-3.7-Sonnet e Gemini-2.5 Pro sofrem com patologias de raciocínio, como inconsistência e excesso de pensamento. Este benchmark revela lacunas persistentes entre precisão e qualidade de raciocínio e fornece um pipeline de avaliação acionável para o desenvolvimento futuro de modelos. No geral, o MMMR oferece uma base escalável para avaliar, comparar e melhorar a próxima geração de sistemas de raciocínio multimodal.
English
Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled
unified processing of language, vision, and structured inputs, opening the door
to complex tasks such as logical deduction, spatial reasoning, and scientific
analysis. Despite their promise, the reasoning capabilities of MLLMs,
particularly those augmented with intermediate thinking traces (MLLMs-T),
remain poorly understood and lack standardized evaluation benchmarks. Existing
work focuses primarily on perception or final answer correctness, offering
limited insight into how models reason or fail across modalities. To address
this gap, we introduce the MMMR, a new benchmark designed to rigorously
evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a
high-difficulty dataset of 1,083 questions spanning six diverse reasoning types
with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace
Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy
through metrics like relevance, consistency, and structured error annotations.
Empirical results show that MLLMs-T overall outperform non-thinking
counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro
suffer from reasoning pathologies such as inconsistency and overthinking. This
benchmark reveals persistent gaps between accuracy and reasoning quality and
provides an actionable evaluation pipeline for future model development.
Overall, the MMMR offers a scalable foundation for evaluating, comparing, and
improving the next generation of multi-modal reasoning systems.