SpatiaLab: ¿Pueden los Modelos de Visión y Lenguaje Realizar Razonamiento Espacial en Entornos Naturales?
SpatiaLab: Can Vision-Language Models Perform Spatial Reasoning in the Wild?
February 3, 2026
Autores: Azmine Toushik Wasi, Wahid Faisal, Abdur Rahman, Mahfuz Ahmed Anik, Munem Shahriar, Mohsin Mahmud Topu, Sadia Tasnim Meem, Rahatun Nesa Priti, Sabrina Afroz Mitu, Md. Iqramul Hoque, Shahriyar Zaman Ridoy, Mohammed Eunus Ali, Majd Hawasly, Mohammad Raza, Md Rizwan Parvez
cs.AI
Resumen
El razonamiento espacial es un aspecto fundamental de la cognición humana, pero sigue siendo un desafío importante para los modelos visión-lenguaje (VLM) contemporáneos. Trabajos previos se basaron en gran medida en entornos sintéticos o generados por LLM con diseños de tareas limitados y configuraciones similares a rompecabezas, sin lograr capturar la complejidad del mundo real, el ruido visual y las diversas relaciones espaciales que encuentran los VLMs. Para abordar esto, presentamos SpatiaLab, un benchmark integral para evaluar el razonamiento espacial de los VLMs en contextos realistas y sin restricciones. SpatiaLab comprende 1.400 pares de preguntas y respuestas visuales en seis categorías principales: Posicionamiento Relativo, Profundidad y Oclusión, Orientación, Tamaño y Escala, Navegación Espacial y Geometría 3D, cada una con cinco subcategorías, lo que da como resultado 30 tipos de tareas distintos. Cada subcategoría contiene al menos 25 preguntas, y cada categoría principal incluye al menos 200 preguntas, admitiendo evaluación tanto de opción múltiple como de respuesta abierta. Los experimentos con diversos VLMs de vanguardia, incluyendo modelos de código abierto y cerrado, modelos centrados en el razonamiento y modelos especializados en razonamiento espacial, revelan una brecha sustancial en las capacidades de razonamiento espacial en comparación con los humanos. En la configuración de opción múltiple, InternVL3.5-72B alcanza un 54.93% de precisión frente al 87.57% de los humanos. En el entorno de respuesta abierta, todos los modelos muestran una caída en el rendimiento de alrededor del 10-25%, con GPT-5-mini obteniendo la puntuación más alta con un 40.93% frente al 64.93% de los humanos. Estos resultados destacan limitaciones clave en el manejo de relaciones espaciales complejas, percepción de profundidad, navegación y geometría 3D. Al proporcionar un marco de evaluación diverso y del mundo real, SpatiaLab expone desafíos y oportunidades críticos para avanzar en el razonamiento espacial de los VLMs, ofreciendo un benchmark para guiar la investigación futura hacia una comprensión espacial robusta y alineada con las capacidades humanas. SpatiaLab está disponible en: https://spatialab-reasoning.github.io/.
English
Spatial reasoning is a fundamental aspect of human cognition, yet it remains a major challenge for contemporary vision-language models (VLMs). Prior work largely relied on synthetic or LLM-generated environments with limited task designs and puzzle-like setups, failing to capture the real-world complexity, visual noise, and diverse spatial relationships that VLMs encounter. To address this, we introduce SpatiaLab, a comprehensive benchmark for evaluating VLMs' spatial reasoning in realistic, unconstrained contexts. SpatiaLab comprises 1,400 visual question-answer pairs across six major categories: Relative Positioning, Depth & Occlusion, Orientation, Size & Scale, Spatial Navigation, and 3D Geometry, each with five subcategories, yielding 30 distinct task types. Each subcategory contains at least 25 questions, and each main category includes at least 200 questions, supporting both multiple-choice and open-ended evaluation. Experiments across diverse state-of-the-art VLMs, including open- and closed-source models, reasoning-focused, and specialized spatial reasoning models, reveal a substantial gap in spatial reasoning capabilities compared with humans. In the multiple-choice setup, InternVL3.5-72B achieves 54.93% accuracy versus 87.57% for humans. In the open-ended setting, all models show a performance drop of around 10-25%, with GPT-5-mini scoring highest at 40.93% versus 64.93% for humans. These results highlight key limitations in handling complex spatial relationships, depth perception, navigation, and 3D geometry. By providing a diverse, real-world evaluation framework, SpatiaLab exposes critical challenges and opportunities for advancing VLMs' spatial reasoning, offering a benchmark to guide future research toward robust, human-aligned spatial understanding. SpatiaLab is available at: https://spatialab-reasoning.github.io/.