MathReal: Wir halten es real! Ein Benchmark für reale Szenen zur Bewertung mathematischen Denkens in multimodalen großen Sprachmodellen

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

papers.authors: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

papers.abstract

Multimodale Large Language Models (MLLMs) haben bemerkenswerte Fähigkeiten im Bereich des visuellen mathematischen Denkens in verschiedenen bestehenden Benchmarks demonstriert. Diese Benchmarks basieren jedoch überwiegend auf sauberen oder verarbeiteten multimodalen Eingaben, ohne die Bilder zu berücksichtigen, die von realen Nutzern aus dem Kindergarten bis zur 12. Klasse (K-12) im Bildungsbereich bereitgestellt werden. Um diese Lücke zu schließen, stellen wir MathReal vor, einen sorgfältig kuratierten Datensatz, der 2.000 mathematische Fragen mit Bildern umfasst, die mit mobilen Handgeräten in authentischen Szenarien aufgenommen wurden. Jede Frage besteht aus einem Bild, das den Fragetext und ein visuelles Element enthält. Wir klassifizieren die realen Bilder systematisch in drei Hauptkategorien: Bildqualitätsverschlechterung, Perspektivenvariation und Störung durch irrelevante Inhalte, die weiter in 14 Unterkategorien unterteilt werden. Zusätzlich umfasst MathReal fünf Kernwissens- und Fähigkeitskategorien, die drei Fragentypen abdecken und in drei Schwierigkeitsgrade unterteilt sind. Um die multimodalen mathematischen Denkfähigkeiten modernster MLLMs in realen Szenarien umfassend zu bewerten, entwerfen wir sechs experimentelle Settings, die eine systematische Analyse ihrer Leistung ermöglichen. Durch umfangreiche Experimente stellen wir fest, dass die Problemlösungsfähigkeiten bestehender MLLMs in realistischen Bildungskontexten erheblich herausgefordert werden. Basierend darauf führen wir eine detaillierte Analyse ihrer Leistung und Fehlermuster durch, liefern Einblicke in ihre Erkennungs-, Verständnis- und Denkfähigkeiten und skizzieren Richtungen für zukünftige Verbesserungen. Daten und Code: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.