SpatiaLab: I modelli visione-linguaggio sono in grado di ragionare spazialmente in contesti reali?
SpatiaLab: Can Vision-Language Models Perform Spatial Reasoning in the Wild?
February 3, 2026
Autori: Azmine Toushik Wasi, Wahid Faisal, Abdur Rahman, Mahfuz Ahmed Anik, Munem Shahriar, Mohsin Mahmud Topu, Sadia Tasnim Meem, Rahatun Nesa Priti, Sabrina Afroz Mitu, Md. Iqramul Hoque, Shahriyar Zaman Ridoy, Mohammed Eunus Ali, Majd Hawasly, Mohammad Raza, Md Rizwan Parvez
cs.AI
Abstract
Il ragionamento spaziale è un aspetto fondamentale della cognizione umana, ma rimane una sfida significativa per i modelli visione-linguaggio (VLM) contemporanei. I lavori precedenti si sono basati prevalentemente su ambienti sintetici o generati da LLM, con progetti di compiti limitati e configurazioni simili a rompicapi, non riuscendo a catturare la complessità del mondo reale, il rumore visivo e le diverse relazioni spaziali che i VLM incontrano. Per affrontare questo problema, introduciamo SpatiaLab, un benchmark completo per valutare il ragionamento spaziale dei VLM in contesti realistici e senza vincoli. SpatiaLab comprende 1.400 coppie domanda-risposta visive suddivise in sei categorie principali: Posizionamento Relativo, Profondità e Occlusione, Orientamento, Dimensione e Scala, Navigazione Spaziale e Geometria 3D, ciascuna con cinque sottocategorie, per un totale di 30 tipi di compiti distinti. Ogni sottocategoria contiene almeno 25 domande e ogni categoria principale include almeno 200 domande, supportando sia la valutazione a scelta multipla che quella a risposta aperta. Esperimenti condotti su vari VLM all'avanguardia, inclusi modelli open-source e closed-source, modelli focalizzati sul ragionamento e modelli specializzati nel ragionamento spaziale, rivelano un divario sostanziale nelle capacità di ragionamento spaziale rispetto agli esseri umani. Nella configurazione a scelta multipla, InternVL3.5-72B raggiunge un'accuratezza del 54,93% contro l'87,57% degli umani. Nell'impostazione a risposta aperta, tutti i modelli mostrano un calo delle prestazioni di circa il 10-25%, con GPT-5-mini che ottiene il punteggio più alto al 40,93% contro il 64,93% degli umani. Questi risultati evidenziano limitazioni chiave nella gestione di relazioni spaziali complesse, percezione della profondità, navigazione e geometria 3D. Fornendo un framework di valutazione diversificato e basato sul mondo reale, SpatiaLab mette in luce sfide critiche e opportunità per far avanzare il ragionamento spaziale dei VLM, offrendo un benchmark per guidare la ricerca futura verso una comprensione spaziale robusta e allineata con le capacità umane. SpatiaLab è disponibile all'indirizzo: https://spatialab-reasoning.github.io/.
English
Spatial reasoning is a fundamental aspect of human cognition, yet it remains a major challenge for contemporary vision-language models (VLMs). Prior work largely relied on synthetic or LLM-generated environments with limited task designs and puzzle-like setups, failing to capture the real-world complexity, visual noise, and diverse spatial relationships that VLMs encounter. To address this, we introduce SpatiaLab, a comprehensive benchmark for evaluating VLMs' spatial reasoning in realistic, unconstrained contexts. SpatiaLab comprises 1,400 visual question-answer pairs across six major categories: Relative Positioning, Depth & Occlusion, Orientation, Size & Scale, Spatial Navigation, and 3D Geometry, each with five subcategories, yielding 30 distinct task types. Each subcategory contains at least 25 questions, and each main category includes at least 200 questions, supporting both multiple-choice and open-ended evaluation. Experiments across diverse state-of-the-art VLMs, including open- and closed-source models, reasoning-focused, and specialized spatial reasoning models, reveal a substantial gap in spatial reasoning capabilities compared with humans. In the multiple-choice setup, InternVL3.5-72B achieves 54.93% accuracy versus 87.57% for humans. In the open-ended setting, all models show a performance drop of around 10-25%, with GPT-5-mini scoring highest at 40.93% versus 64.93% for humans. These results highlight key limitations in handling complex spatial relationships, depth perception, navigation, and 3D geometry. By providing a diverse, real-world evaluation framework, SpatiaLab exposes critical challenges and opportunities for advancing VLMs' spatial reasoning, offering a benchmark to guide future research toward robust, human-aligned spatial understanding. SpatiaLab is available at: https://spatialab-reasoning.github.io/.