VisuLogic: Бенчмарк для оценки визуального мышления в мультимодальных крупных языковых моделях

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Авторы: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Аннотация

Визуальное мышление является ключевым компонентом человеческого интеллекта и важной способностью для современных мультимодальных моделей. Однако текущие оценки мышления мультимодальных больших языковых моделей (MLLMs) часто основываются на текстовых описаниях и допускают языковые упрощения, что не позволяет измерить подлинное визуально-ориентированное мышление. Для решения этой проблемы мы представляем VisuLogic: набор из 1000 проверенных человеком задач, охватывающих шесть категорий (например, количественные изменения, пространственные отношения, сравнение атрибутов). Эти разнообразные типы вопросов позволяют оценить способности MLLMs к визуальному мышлению с разных сторон. Мы тестируем ведущие MLLMs на этом наборе и анализируем их результаты, чтобы выявить типичные ошибки. Большинство моделей показывают точность ниже 30% — лишь немного выше случайного базового уровня в 25% и значительно ниже 51,4%, достигнутых людьми, что указывает на существенные пробелы в визуальном мышлении. Кроме того, мы предоставляем дополнительный обучающий набор данных и базовый уровень на основе обучения с подкреплением для поддержки дальнейшего прогресса.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.