SpatiaLab: Os Modelos Visão-Linguagem Conseguem Realizar Raciocínio Espacial no Mundo Real?
SpatiaLab: Can Vision-Language Models Perform Spatial Reasoning in the Wild?
February 3, 2026
Autores: Azmine Toushik Wasi, Wahid Faisal, Abdur Rahman, Mahfuz Ahmed Anik, Munem Shahriar, Mohsin Mahmud Topu, Sadia Tasnim Meem, Rahatun Nesa Priti, Sabrina Afroz Mitu, Md. Iqramul Hoque, Shahriyar Zaman Ridoy, Mohammed Eunus Ali, Majd Hawasly, Mohammad Raza, Md Rizwan Parvez
cs.AI
Resumo
O raciocínio espacial é um aspecto fundamental da cognição humana, mas continua a ser um grande desafio para os modelos visão-linguagem (VLMs) contemporâneos. Trabalhos anteriores basearam-se largamente em ambientes sintéticos ou gerados por LLM com projetos de tarefas limitados e configurações semelhantes a quebra-cabeças, não conseguindo capturar a complexidade do mundo real, o ruído visual e as diversas relações espaciais que os VLMs encontram. Para resolver isto, introduzimos o SpatiaLab, um benchmark abrangente para avaliar o raciocínio espacial dos VLMs em contextos realistas e sem restrições. O SpatiaLab compreende 1.400 pares de perguntas-respostas visuais em seis categorias principais: Posicionamento Relativo, Profundidade & Oclusão, Orientação, Tamanho & Escala, Navegação Espacial e Geometria 3D, cada uma com cinco subcategorias, totalizando 30 tipos de tarefas distintos. Cada subcategoria contém pelo menos 25 perguntas, e cada categoria principal inclui pelo menos 200 perguntas, suportando avaliação de escolha múltipla e de resposta aberta. Experiências com diversos VLMs state-of-the-art, incluindo modelos open-source e closed-source, modelos focados em raciocínio e modelos especializados em raciocínio espacial, revelam uma lacuna substancial nas capacidades de raciocínio espacial em comparação com os humanos. Na configuração de escolha múltipla, o InternVL3.5-72B atinge 54,93% de precisão contra 87,57% dos humanos. No cenário de resposta aberta, todos os modelos mostram uma queda de desempenho de cerca de 10-25%, com o GPT-5-mini a obter a pontuação mais alta de 40,93% contra 64,93% dos humanos. Estes resultados destacam limitações-chave no tratamento de relações espaciais complexas, perceção de profundidade, navegação e geometria 3D. Ao fornecer um quadro de avaliação diversificado e baseado no mundo real, o SpatiaLab expõe desafios e oportunidades críticos para o avanço do raciocínio espacial dos VLMs, oferecendo um benchmark para orientar a investigação futura no sentido de uma compreensão espacial robusta e alinhada com a humana. O SpatiaLab está disponível em: https://spatialab-reasoning.github.io/.
English
Spatial reasoning is a fundamental aspect of human cognition, yet it remains a major challenge for contemporary vision-language models (VLMs). Prior work largely relied on synthetic or LLM-generated environments with limited task designs and puzzle-like setups, failing to capture the real-world complexity, visual noise, and diverse spatial relationships that VLMs encounter. To address this, we introduce SpatiaLab, a comprehensive benchmark for evaluating VLMs' spatial reasoning in realistic, unconstrained contexts. SpatiaLab comprises 1,400 visual question-answer pairs across six major categories: Relative Positioning, Depth & Occlusion, Orientation, Size & Scale, Spatial Navigation, and 3D Geometry, each with five subcategories, yielding 30 distinct task types. Each subcategory contains at least 25 questions, and each main category includes at least 200 questions, supporting both multiple-choice and open-ended evaluation. Experiments across diverse state-of-the-art VLMs, including open- and closed-source models, reasoning-focused, and specialized spatial reasoning models, reveal a substantial gap in spatial reasoning capabilities compared with humans. In the multiple-choice setup, InternVL3.5-72B achieves 54.93% accuracy versus 87.57% for humans. In the open-ended setting, all models show a performance drop of around 10-25%, with GPT-5-mini scoring highest at 40.93% versus 64.93% for humans. These results highlight key limitations in handling complex spatial relationships, depth perception, navigation, and 3D geometry. By providing a diverse, real-world evaluation framework, SpatiaLab exposes critical challenges and opportunities for advancing VLMs' spatial reasoning, offering a benchmark to guide future research toward robust, human-aligned spatial understanding. SpatiaLab is available at: https://spatialab-reasoning.github.io/.