MathReal: ¡Mantenemos lo real! Un punto de referencia de escenas reales para evaluar el razonamiento matemático en modelos de lenguaje multimodal de gran escala

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

Autores: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han demostrado capacidades notables en el razonamiento matemático visual a través de diversos puntos de referencia existentes. Sin embargo, estos puntos de referencia se basan predominantemente en entradas multimodales limpias o procesadas, sin incorporar las imágenes proporcionadas por usuarios educativos del mundo real desde Kindergarten hasta el grado 12 (K-12). Para abordar esta brecha, presentamos MathReal, un conjunto de datos meticulosamente curado que comprende 2,000 preguntas matemáticas con imágenes capturadas por dispositivos móviles portátiles en escenarios auténticos. Cada pregunta es una imagen que contiene el texto de la pregunta y un elemento visual. Clasificamos sistemáticamente las imágenes reales en tres categorías principales: degradación de la calidad de la imagen, variación de perspectiva e interferencia de contenido irrelevante, las cuales se subdividen en 14 subcategorías. Además, MathReal abarca cinco categorías principales de conocimiento y habilidad, que incluyen tres tipos de preguntas y se dividen en tres niveles de dificultad. Para evaluar de manera integral las habilidades de razonamiento matemático multimodal de los MLLMs más avanzados en escenarios del mundo real, diseñamos seis configuraciones experimentales que permiten un análisis sistemático de su rendimiento. A través de una extensa experimentación, encontramos que las habilidades de resolución de problemas de los MLLMs existentes se ven significativamente desafiadas en contextos educativos realistas. Con base en esto, realizamos un análisis exhaustivo de su rendimiento y patrones de error, proporcionando insights sobre sus capacidades de reconocimiento, comprensión y razonamiento, y delineando direcciones para futuras mejoras. Datos y código: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.