MathReal: Manteniamo il Reale! Un Benchmark di Scene Reali per Valutare il Ragionamento Matematico nei Modelli Linguistici Multimodali di Grandi Dimensioni

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

Autori: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno dimostrato capacità notevoli nel ragionamento matematico visivo attraverso vari benchmark esistenti. Tuttavia, questi benchmark si basano prevalentemente su input multimodali puliti o elaborati, senza incorporare le immagini fornite dagli utenti educativi reali dalla scuola materna alla dodicesima classe (K-12). Per colmare questa lacuna, introduciamo MathReal, un dataset meticolosamente curato che comprende 2.000 domande matematiche con immagini catturate da dispositivi mobili portatili in scenari autentici. Ogni domanda è un'immagine, contenente il testo della domanda e un elemento visivo. Classifichiamo sistematicamente le immagini reali in tre categorie principali: degradazione della qualità dell'immagine, variazione della prospettiva e interferenza di contenuti irrilevanti, ulteriormente suddivise in 14 sottocategorie. Inoltre, MathReal copre cinque categorie fondamentali di conoscenza e abilità, che comprendono tre tipi di domande e sono suddivise in tre livelli di difficoltà. Per valutare in modo completo le capacità di ragionamento matematico multimodale degli MLLMs all'avanguardia in scenari reali, progettiamo sei impostazioni sperimentali che consentono un'analisi sistematica delle loro prestazioni. Attraverso un'ampia sperimentazione, scopriamo che le capacità di risoluzione dei problemi degli MLLMs esistenti sono significativamente messe alla prova in contesti educativi realistici. Sulla base di ciò, conduciamo un'analisi approfondita delle loro prestazioni e dei modelli di errore, fornendo spunti sulle loro capacità di riconoscimento, comprensione e ragionamento, e delineando direzioni per futuri miglioramenti. Dati e codice: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.