ESPIRE: Een Diagnostische Benchmark voor Lichaamsgebonden Ruimtelijk Redeneren van Vision-Language Modellen
ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
March 13, 2026
Auteurs: Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng
cs.AI
Samenvatting
Een recente trend bij vision-language modellen (VLM's) is het verbeteren van hun ruimtelijk cognitief vermogen voor embodied domeinen. Ondanks vooruitgang zijn bestaande evaluaties beperkt, zowel in paradigma als in dekking, wat een snelle, iteratieve modelontwikkeling belemmert. Om deze beperkingen aan te pakken, stellen we ESPIRE voor, een diagnostische benchmark voor embodied ruimtelijk redeneren. ESPIRE biedt een gesimuleerde wereld die VLM's fysiek verankert en evalueert op ruimtelijk-redeneergerichte robottaken, waardoor de kloof tussen evaluatie en inzet in de echte wereld wordt verkleind. Om VLM's aan te passen aan robottaken, ontleden we elke taak in lokalisatie en uitvoering, en formuleren we beide als generatieve problemen. Dit staat in schril contrast met overheersende discriminerende evaluaties (bijvoorbeeld via visuele vraag-antwoordtaken) die afleiders gebruiken en uitvoering negeren. Deze ontleding maakt verder een fijnmazige analyse mogelijk, verdergaand dan passief ruimtelijk redeneren naar redeneren om te handelen. We ontwerpen ESPIRE systematisch, zowel op instructieniveau als op omgevingsniveau, om een brede dekking van ruimtelijke redeneerscenario's te garanderen. We gebruiken ESPIRE om een reeks vooruitstrevende VLM's te diagnosticeren en bieden een diepgaande analyse van hun ruimtelijke redeneergedrag.
English
A recent trend in vision-language models (VLMs) has been to enhance their spatial cognition for embodied domains. Despite progress, existing evaluations have been limited both in paradigm and in coverage, hindering rapid, iterative model development. To address these limitations, we propose ESPIRE, a diagnostic benchmark for embodied spatial reasoning. ESPIRE offers a simulated world that physically grounds VLMs and evaluates them on spatial-reasoning-centric robotic tasks, thus narrowing the gap between evaluation and real-world deployment. To adapt VLMs to robotic tasks, we decompose each task into localization and execution, and frame both as generative problems, in stark contrast to predominant discriminative evaluations (e.g., via visual-question answering) that rely on distractors and discard execution. This decomposition further enables a fine-grained analysis beyond passive spatial reasoning toward reasoning to act. We systematically design ESPIRE both at the instruction level and at the environment level, ensuring broad coverage of spatial reasoning scenarios. We use ESPIRE to diagnose a range of frontier VLMs and provide in-depth analysis of their spatial reasoning behaviors.