VisuLogic: Un punto de referencia para evaluar el razonamiento visual en modelos de lenguaje multimodal de gran escala

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Autores: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Resumen

El razonamiento visual es un componente fundamental de la inteligencia humana y una capacidad crítica para los modelos multimodales avanzados. Sin embargo, las evaluaciones actuales del razonamiento en los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) suelen basarse en descripciones textuales y permiten atajos de razonamiento basados en el lenguaje, lo que no logra medir un razonamiento genuinamente centrado en la visión. Para abordar esto, presentamos VisuLogic: un benchmark de 1,000 problemas verificados por humanos en seis categorías (por ejemplo, cambios cuantitativos, relaciones espaciales, comparaciones de atributos). Estos diversos tipos de preguntas permiten evaluar las capacidades de razonamiento visual de los MLLMs desde múltiples perspectivas. Evaluamos los principales MLLMs en este benchmark y analizamos sus resultados para identificar modos de fallo comunes. La mayoría de los modelos obtienen una precisión inferior al 30%, apenas por encima del 25% de referencia aleatoria y muy por debajo del 51,4% alcanzado por los humanos, lo que revela brechas significativas en el razonamiento visual. Además, proporcionamos un conjunto de datos de entrenamiento complementario y una línea base de aprendizaje por refuerzo para apoyar avances futuros.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.