VisuLogic: Een Benchmark voor het Evalueren van Visueel Redeneren in Multi-modale Grote Taalmodellen

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Auteurs: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Samenvatting

Visueel redeneren is een kerncomponent van menselijke intelligentie en een cruciale vaardigheid voor geavanceerde multimodale modellen. Toch baseren huidige evaluaties van multimodale grote taalmodellen (MLLMs) zich vaak op tekstbeschrijvingen en staan ze taalgebaseerde redeneersnelwegen toe, waardoor ze niet in staat zijn om echt visiegericht redeneren te meten. Om dit aan te pakken, introduceren we VisuLogic: een benchmark van 1.000 door mensen geverifieerde problemen in zes categorieën (bijv. kwantitatieve verschuivingen, ruimtelijke relaties, attribuutvergelijkingen). Deze verschillende soorten vragen kunnen worden geëvalueerd om de visuele redeneervaardigheden van MLLMs vanuit meerdere perspectieven te beoordelen. We evalueren toonaangevende MLLMs op deze benchmark en analyseren hun resultaten om veelvoorkomende foutmodi te identificeren. De meeste modellen scoren onder de 30% nauwkeurigheid – slechts iets boven de 25% willekeurige basislijn en ver onder de 51,4% die door mensen wordt behaald – wat significante tekortkomingen in visueel redeneren aan het licht brengt. Bovendien bieden we een aanvullende trainingsdataset en een reinforcement-learning basislijn om verdere vooruitgang te ondersteunen.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.