MMMR: Benchmarking van Massieve Multi-Modale Redeneertaken

Samenvatting

Recente ontwikkelingen in Multi-Modale Grote Taalmodellen (MLLMs) hebben een uniforme verwerking van taal, visuele informatie en gestructureerde invoer mogelijk gemaakt, wat de deur opent naar complexe taken zoals logische deductie, ruimtelijk redeneren en wetenschappelijke analyse. Ondanks hun potentieel blijven de redeneervaardigheden van MLLMs, met name die versterkt met tussenliggende denksporen (MLLMs-T), slecht begrepen en ontbreekt het aan gestandaardiseerde evaluatiebenchmarks. Bestaand onderzoek richt zich voornamelijk op perceptie of de correctheid van het eindantwoord, wat beperkt inzicht biedt in hoe modellen redeneren of falen over verschillende modaliteiten heen. Om deze kloof te dichten, introduceren we de MMMR, een nieuwe benchmark die ontworpen is om multi-modale redenering met expliciet denken rigoureus te evalueren. De MMMR bestaat uit 1) een dataset met hoge moeilijkheidsgraad van 1.083 vragen die zes diverse redeneertypes omvatten met symbolische diepte en multi-hop eisen, en 2) een modulaire Reasoning Trace Evaluation Pipeline (RTEP) voor het beoordelen van de kwaliteit van redenering verder dan alleen nauwkeurigheid, via metrieken zoals relevantie, consistentie en gestructureerde foutannotaties. Empirische resultaten tonen aan dat MLLMs-T over het algemeen beter presteren dan tegenhangers zonder denksporen, maar zelfs topmodellen zoals Claude-3.7-Sonnet en Gemini-2.5 Pro lijden aan redeneerpathologieën zoals inconsistentie en overdenken. Deze benchmark onthult aanhoudende kloof tussen nauwkeurigheid en redeneerkwaliteit en biedt een bruikbare evaluatiepipeline voor toekomstige modelontwikkeling. Over het algemeen biedt de MMMR een schaalbare basis voor het evalueren, vergelijken en verbeteren van de volgende generatie multi-modale redeneersystemen.

English

Recent advances in Multi-Modal Large Language Models (MLLMs) have enabled unified processing of language, vision, and structured inputs, opening the door to complex tasks such as logical deduction, spatial reasoning, and scientific analysis. Despite their promise, the reasoning capabilities of MLLMs, particularly those augmented with intermediate thinking traces (MLLMs-T), remain poorly understood and lack standardized evaluation benchmarks. Existing work focuses primarily on perception or final answer correctness, offering limited insight into how models reason or fail across modalities. To address this gap, we introduce the MMMR, a new benchmark designed to rigorously evaluate multi-modal reasoning with explicit thinking. The MMMR comprises 1) a high-difficulty dataset of 1,083 questions spanning six diverse reasoning types with symbolic depth and multi-hop demands and 2) a modular Reasoning Trace Evaluation Pipeline (RTEP) for assessing reasoning quality beyond accuracy through metrics like relevance, consistency, and structured error annotations. Empirical results show that MLLMs-T overall outperform non-thinking counterparts, but even top models like Claude-3.7-Sonnet and Gemini-2.5 Pro suffer from reasoning pathologies such as inconsistency and overthinking. This benchmark reveals persistent gaps between accuracy and reasoning quality and provides an actionable evaluation pipeline for future model development. Overall, the MMMR offers a scalable foundation for evaluating, comparing, and improving the next generation of multi-modal reasoning systems.

MMMR: Benchmarking van Massieve Multi-Modale Redeneertaken

MMMR: Benchmarking Massive Multi-Modal Reasoning Tasks

Samenvatting

Support