MathReal: We Keep It Real! Een Realistische Scène Benchmark voor het Evalueren van Wiskundig Redeneren in Multimodale Grote Taalmodellen

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

Auteurs: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben opmerkelijke capaciteiten getoond in visueel wiskundig redeneren op verschillende bestaande benchmarks. Deze benchmarks zijn echter voornamelijk gebaseerd op schone of bewerkte multimodale invoer, zonder de afbeeldingen te incorporeren die worden aangeleverd door gebruikers uit de praktijk van het basis- en voortgezet onderwijs (K-12). Om dit gat te dichten, introduceren we MathReal, een zorgvuldig samengestelde dataset bestaande uit 2.000 wiskundige vragen met afbeeldingen die zijn vastgelegd met handheld mobiele apparaten in authentieke scenario's. Elke vraag is een afbeelding, die zowel de vraagtekst als het visuele element bevat. We classificeren de echte afbeeldingen systematisch in drie primaire categorieën: kwaliteitsvermindering van de afbeelding, variatie in perspectief en interferentie door irrelevante inhoud, die verder worden onderverdeeld in 14 subcategorieën. Daarnaast beslaat MathReal vijf kernkennis- en vaardigheidscategorieën, die drie vraagtypen omvatten en zijn verdeeld in drie moeilijkheidsniveaus. Om de multimodale wiskundige redeneervaardigheden van state-of-the-art MLLMs in realistische scenario's uitgebreid te evalueren, ontwerpen we zes experimentele instellingen die een systematische analyse van hun prestaties mogelijk maken. Door uitgebreide experimenten ontdekken we dat de probleemoplossende vaardigheden van bestaande MLLMs aanzienlijk worden uitgedaagd in realistische educatieve contexten. Op basis hiervan voeren we een grondige analyse uit van hun prestaties en foutpatronen, waarbij we inzicht geven in hun herkenning-, begrips- en redeneervaardigheden en richtingen voor toekomstige verbeteringen schetsen. Data en code: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.