VisuLogic: Um Benchmark para Avaliação do Raciocínio Visual em Modelos de Linguagem Multimodais de Grande Escala

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Autores: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Resumo

O raciocínio visual é um componente central da inteligência humana e uma capacidade crítica para modelos multimodais avançados. No entanto, as avaliações atuais de raciocínio em modelos de linguagem multimodal de grande escala (MLLMs) frequentemente dependem de descrições textuais e permitem atalhos baseados em linguagem, falhando em medir o verdadeiro raciocínio centrado na visão. Para abordar essa questão, introduzimos o VisuLogic: um benchmark de 1.000 problemas verificados por humanos em seis categorias (por exemplo, mudanças quantitativas, relações espaciais, comparações de atributos). Esses diversos tipos de questões podem ser avaliados para medir as capacidades de raciocínio visual dos MLLMs a partir de múltiplas perspectivas. Avaliamos os principais MLLMs nesse benchmark e analisamos seus resultados para identificar modos comuns de falha. A maioria dos modelos obteve pontuação abaixo de 30% de precisão—apenas ligeiramente acima da linha de base aleatória de 25% e muito abaixo dos 51,4% alcançados por humanos—revelando lacunas significativas no raciocínio visual. Além disso, fornecemos um conjunto de dados de treinamento suplementar e uma linha de base de aprendizado por reforço para apoiar avanços futuros.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.