MathReal: Mantemos a Realidade! Um Benchmark de Cenas Reais para Avaliar o Raciocínio Matemático em Modelos de Linguagem Multimodais de Grande Escala

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

Autores: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

Resumo

Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm demonstrado capacidades notáveis em raciocínio matemático visual em diversos benchmarks existentes. No entanto, esses benchmarks são predominantemente baseados em entradas multimodais limpas ou processadas, sem incorporar as imagens fornecidas por usuários reais da educação infantil ao ensino médio (K-12). Para abordar essa lacuna, introduzimos o MathReal, um conjunto de dados meticulosamente curado que compreende 2.000 questões matemáticas com imagens capturadas por dispositivos móveis portáteis em cenários autênticos. Cada questão é uma imagem, contendo o texto da questão e um elemento visual. Classificamos sistematicamente as imagens reais em três categorias principais: degradação da qualidade da imagem, variação de perspectiva e interferência de conteúdo irrelevante, que são ainda subdivididas em 14 subcategorias. Além disso, o MathReal abrange cinco categorias principais de conhecimento e habilidade, que englobam três tipos de questões e são divididas em três níveis de dificuldade. Para avaliar de forma abrangente as habilidades de raciocínio matemático multimodal dos MLLMs de última geração em cenários do mundo real, projetamos seis configurações experimentais que permitem uma análise sistemática de seu desempenho. Por meio de experimentação extensiva, descobrimos que as habilidades de resolução de problemas dos MLLMs existentes são significativamente desafiadas em contextos educacionais realistas. Com base nisso, realizamos uma análise detalhada de seu desempenho e padrões de erro, fornecendo insights sobre suas capacidades de reconhecimento, compreensão e raciocínio, e delineando direções para melhorias futuras. Dados e código: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.