OmniSpatial: Verso un Benchmark Completo per il Ragionamento Spaziale nei Modelli di Visione e Linguaggio

OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

June 3, 2025

Autori: Mengdi Jia, Zekun Qi, Shaochen Zhang, Wenyao Zhang, Xinqiang Yu, Jiawei He, He Wang, Li Yi

cs.AI

Abstract

Il ragionamento spaziale è un aspetto chiave della psicologia cognitiva e rimane un importante collo di bottiglia per gli attuali modelli visione-linguaggio (VLMs). Sebbene numerose ricerche abbiano mirato a valutare o migliorare la comprensione da parte dei VLMs delle relazioni spaziali di base, come distinguere sinistra da destra, vicino da lontano e il conteggio degli oggetti, questi compiti rappresentano solo il livello più fondamentale del ragionamento spaziale. In questo lavoro, introduciamo OmniSpatial, un benchmark completo e impegnativo per il ragionamento spaziale, basato sulla psicologia cognitiva. OmniSpatial copre quattro categorie principali: ragionamento dinamico, logica spaziale complessa, interazione spaziale e assunzione di prospettiva, con 50 sottocategorie dettagliate. Attraverso il crawling di dati su Internet e un'attenta annotazione manuale, abbiamo costruito oltre 1.5K coppie domanda-risposta. Esperimenti estensivi dimostrano che sia i VLMs open-source che quelli closed-source, così come i modelli esistenti di ragionamento e comprensione spaziale, presentano significative limitazioni nella comprensione spaziale complessiva. Analizziamo ulteriormente i casi di fallimento e proponiamo potenziali direzioni per la ricerca futura.

English

Spatial reasoning is a key aspect of cognitive psychology and remains a major bottleneck for current vision-language models (VLMs). While extensive research has aimed to evaluate or improve VLMs' understanding of basic spatial relations, such as distinguishing left from right, near from far, and object counting, these tasks represent only the most fundamental level of spatial reasoning. In this work, we introduce OmniSpatial, a comprehensive and challenging benchmark for spatial reasoning, grounded in cognitive psychology. OmniSpatial covers four major categories: dynamic reasoning, complex spatial logic, spatial interaction, and perspective-taking, with 50 fine-grained subcategories. Through Internet data crawling and careful manual annotation, we construct over 1.5K question-answer pairs. Extensive experiments show that both open- and closed-source VLMs, as well as existing reasoning and spatial understanding models, exhibit significant limitations in comprehensive spatial understanding. We further analyze failure cases and propose potential directions for future research.