Quanto Sono Lontani i Modelli Linguistico-Visuali dall'Intelligenza Spaziale Visiva? Una Prospettiva Basata su Benchmark

How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective

September 23, 2025

Autori: Songsong Yu, Yuxin Chen, Hao Ju, Lianjie Jia, Fuxi Zhang, Shaofei Huang, Yuhan Wu, Rundi Cui, Binghao Ran, Zaibin Zhang, Zhedong Zheng, Zhipeng Zhang, Yifan Wang, Lin Song, Lijun Wang, Yanwei Li, Ying Shan, Huchuan Lu

cs.AI

Abstract

Il ragionamento visivo-spaziale (Visual Spatial Reasoning, VSR) è un'abilità cognitiva umana fondamentale e un requisito critico per lo sviluppo dell'intelligenza incarnata e dei sistemi autonomi. Nonostante i recenti progressi nei modelli visione-linguaggio (Vision-Language Models, VLMs), raggiungere un livello umano di VSR rimane estremamente impegnativo a causa della complessità nella rappresentazione e nel ragionamento sullo spazio tridimensionale. In questo articolo, presentiamo un'indagine sistematica del VSR nei VLMs, che include una revisione delle metodologie esistenti riguardanti le modalità di input, le architetture dei modelli, le strategie di addestramento e i meccanismi di ragionamento. Inoltre, categorizziamo l'intelligenza spaziale in tre livelli di capacità, ovvero percezione di base, comprensione spaziale e pianificazione spaziale, e curiamo SIBench, un benchmark di intelligenza spaziale che comprende quasi 20 dataset open-source in 23 contesti di task. Gli esperimenti condotti con i VLMs più avanzati rivelano un divario significativo tra percezione e ragionamento, poiché i modelli dimostrano competenza nei task percettivi di base ma costantemente sottoperformano nei task di comprensione e pianificazione, in particolare nella stima numerica, nel ragionamento multi-vista, nelle dinamiche temporali e nell'immaginazione spaziale. Questi risultati evidenziano le sfide sostanziali che rimangono nel raggiungere l'intelligenza spaziale, fornendo al contempo una roadmap sistematica e un benchmark completo per guidare la ricerca futura in questo campo. Le risorse correlate di questo studio sono accessibili all'indirizzo https://sibench.github.io/Awesome-Visual-Spatial-Reasoning/.

English

Visual Spatial Reasoning (VSR) is a core human cognitive ability and a critical requirement for advancing embodied intelligence and autonomous systems. Despite recent progress in Vision-Language Models (VLMs), achieving human-level VSR remains highly challenging due to the complexity of representing and reasoning over three-dimensional space. In this paper, we present a systematic investigation of VSR in VLMs, encompassing a review of existing methodologies across input modalities, model architectures, training strategies, and reasoning mechanisms. Furthermore, we categorize spatial intelligence into three levels of capability, ie, basic perception, spatial understanding, spatial planning, and curate SIBench, a spatial intelligence benchmark encompassing nearly 20 open-source datasets across 23 task settings. Experiments with state-of-the-art VLMs reveal a pronounced gap between perception and reasoning, as models show competence in basic perceptual tasks but consistently underperform in understanding and planning tasks, particularly in numerical estimation, multi-view reasoning, temporal dynamics, and spatial imagination. These findings underscore the substantial challenges that remain in achieving spatial intelligence, while providing both a systematic roadmap and a comprehensive benchmark to drive future research in the field. The related resources of this study are accessible at https://sibench.github.io/Awesome-Visual-Spatial-Reasoning/.