MathReal: Мы держимся реальности! Бенчмарк реальных сцен для оценки математического мышления в мультимодальных больших языковых моделях

MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models

August 8, 2025

Авторы: Jun Feng, Zixin Wang, Zhentao Zhang, Yue Guo, Zhihan Zhou, Xiuyi Chen, Zhenyang Li, Dawei Yin

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLMs) продемонстрировали впечатляющие способности в визуальном математическом рассуждении на различных существующих тестовых наборах. Однако эти наборы данных преимущественно основаны на чистых или обработанных мультимодальных входах, не включая изображения, предоставляемые реальными пользователями образовательной системы от детского сада до 12 класса (K-12). Чтобы устранить этот пробел, мы представляем MathReal — тщательно отобранный набор данных, состоящий из 2000 математических вопросов с изображениями, снятыми на мобильные устройства в реальных условиях. Каждый вопрос представлен в виде изображения, содержащего текст вопроса и визуальный элемент. Мы систематически классифицируем реальные изображения на три основные категории: ухудшение качества изображения, вариации перспективы и вмешательство постороннего контента, которые далее разделяются на 14 подкатегорий. Кроме того, MathReal охватывает пять основных категорий знаний и навыков, включающих три типа вопросов и разделенных на три уровня сложности. Для всесторонней оценки мультимодальных математических способностей современных MLLMs в реальных условиях мы разработали шесть экспериментальных сценариев, позволяющих систематически анализировать их производительность. В ходе обширных экспериментов мы обнаружили, что способности существующих MLLMs к решению задач значительно ограничены в реалистичных образовательных контекстах. На основе этого мы проводим детальный анализ их производительности и типичных ошибок, предоставляя инсайты в их способности к распознаванию, пониманию и рассуждению, а также намечая направления для будущих улучшений. Данные и код доступны по ссылке: https://github.com/junfeng0288/MathReal.

English

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in visual mathematical reasoning across various existing benchmarks. However, these benchmarks are predominantly based on clean or processed multimodal inputs, without incorporating the images provided by real-world Kindergarten through 12th grade (K-12) educational users. To address this gap, we introduce MathReal, a meticulously curated dataset comprising 2,000 mathematical questions with images captured by handheld mobile devices in authentic scenarios. Each question is an image, containing the question text and visual element. We systematically classify the real images into three primary categories: image quality degradation, perspective variation, and irrelevant content interference, which are further delineated into 14 subcategories. Additionally, MathReal spans five core knowledge and ability categories, which encompass three question types and are divided into three difficulty levels. To comprehensively evaluate the multimodal mathematical reasoning abilities of state-of-the-art MLLMs in real-world scenarios, we design six experimental settings that enable a systematic analysis of their performance. Through extensive experimentation, we find that the problem-solving abilities of existing MLLMs are significantly challenged in realistic educational contexts. Based on this, we conduct a thorough analysis of their performance and error patterns, providing insights into their recognition, comprehension, and reasoning capabilities, and outlining directions for future improvements. Data and code: https://github.com/junfeng0288/MathReal.