ESPIRE: Um Benchmark de Diagnóstico para o Raciocínio Espacial Corporificado de Modelos de Visão e Linguagem
ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
March 13, 2026
Autores: Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng
cs.AI
Resumo
Uma tendência recente em modelos de visão e linguagem (VLMs) tem sido aprimorar sua cognição espacial para domínios corporificados. Apesar dos progressos, as avaliações existentes têm sido limitadas tanto em paradigma quanto em cobertura, dificultando o desenvolvimento rápido e iterativo de modelos. Para superar essas limitações, propomos o ESPIRE, um benchmark de diagnóstico para raciocínio espacial corporificado. O ESPIRE oferece um mundo simulado que fundamenta fisicamente os VLMs e os avalia em tarefas robóticas centradas no raciocínio espacial, estreitando assim a lacuna entre a avaliação e a implantação no mundo real. Para adaptar os VLMs a tarefas robóticas, decompomos cada tarefa em localização e execução, e enquadramos ambas como problemas generativos, em nítido contraste com as avaliações discriminativas predominantes (por exemplo, via questionamento visual) que dependem de distratores e descartam a execução. Esta decomposição permite ainda uma análise granular que vai além do raciocínio espacial passivo em direção ao raciocínio para agir. Projetamos o ESPIRE sistematicamente tanto a nível de instrução quanto a nível de ambiente, garantindo uma ampla cobertura de cenários de raciocínio espacial. Utilizamos o ESPIRE para diagnosticar uma série de VLMs de ponta e fornecer uma análise aprofundada dos seus comportamentos de raciocínio espacial.
English
A recent trend in vision-language models (VLMs) has been to enhance their spatial cognition for embodied domains. Despite progress, existing evaluations have been limited both in paradigm and in coverage, hindering rapid, iterative model development. To address these limitations, we propose ESPIRE, a diagnostic benchmark for embodied spatial reasoning. ESPIRE offers a simulated world that physically grounds VLMs and evaluates them on spatial-reasoning-centric robotic tasks, thus narrowing the gap between evaluation and real-world deployment. To adapt VLMs to robotic tasks, we decompose each task into localization and execution, and frame both as generative problems, in stark contrast to predominant discriminative evaluations (e.g., via visual-question answering) that rely on distractors and discard execution. This decomposition further enables a fine-grained analysis beyond passive spatial reasoning toward reasoning to act. We systematically design ESPIRE both at the instruction level and at the environment level, ensuring broad coverage of spatial reasoning scenarios. We use ESPIRE to diagnose a range of frontier VLMs and provide in-depth analysis of their spatial reasoning behaviors.