VisuLogic: Un Benchmark per Valutare il Ragionamento Visivo nei Modelli Linguistici Multi-modali di Grande Dimensione

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Autori: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Abstract

Il ragionamento visivo è un componente fondamentale dell'intelligenza umana e una capacità critica per i modelli multimodali avanzati. Tuttavia, le attuali valutazioni del ragionamento nei modelli linguistici multimodali di grandi dimensioni (MLLMs) si basano spesso su descrizioni testuali e consentono scorciatoie di ragionamento basate sul linguaggio, fallendo nel misurare un autentico ragionamento centrato sulla visione. Per affrontare questo problema, introduciamo VisuLogic: un benchmark di 1.000 problemi verificati da esseri umani, suddivisi in sei categorie (ad esempio, spostamenti quantitativi, relazioni spaziali, confronti di attributi). Questi vari tipi di domande possono essere valutati per testare le capacità di ragionamento visivo degli MLLMs da molteplici prospettive. Valutiamo i principali MLLMs su questo benchmark e analizziamo i loro risultati per identificare le modalità di errore più comuni. La maggior parte dei modelli ottiene un'accuratezza inferiore al 30%, solo leggermente superiore al 25% del caso casuale e ben al di sotto del 51,4% raggiunto dagli esseri umani, rivelando significative lacune nel ragionamento visivo. Inoltre, forniamo un dataset di addestramento supplementare e una baseline di apprendimento per rinforzo per supportare ulteriori progressi.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.