ESPIRE: Un Benchmark Diagnostico per il Ragionamento Spaziale Incorporato nei Modelli Visione-Linguaggio
ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
March 13, 2026
Autori: Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng
cs.AI
Abstract
Una tendenza recente nei modelli visione-linguaggio (VLM) è quella di potenziare la loro cognizione spaziale per domini embodied. Nonostante i progressi, le valutazioni esistenti sono state limitate sia nel paradigma che nella copertura, ostacolando uno sviluppo rapido e iterativo dei modelli. Per affrontare queste limitazioni, proponiamo ESPIRE, un benchmark diagnostico per il ragionamento spaziale embodied. ESPIRE offre un mondo simulato che ancora fisicamente i VLM e li valuta su compiti robotici incentrati sul ragionamento spaziale, riducendo così il divario tra valutazione e impiego nel mondo reale. Per adattare i VLM ai compiti robotici, scomponiamo ogni attività in localizzazione ed esecuzione, e inquadriamo entrambe come problemi generativi, in netto contrasto con le valutazioni discriminative predominanti (ad esempio, tramite question-answering visivo) che si basano su distrattori e tralasciano l'esecuzione. Questa scomposizione consente inoltre un'analisi granulare che va oltre il ragionamento spaziale passivo verso il ragionamento finalizzato all'azione. Progettiamo ESPIRE in modo sistematico sia a livello di istruzione che a livello di ambiente, garantendo un'ampia copertura di scenari di ragionamento spaziale. Utilizziamo ESPIRE per diagnosticare una serie di VLM all'avanguardia e forniamo un'analisi approfondita dei loro comportamenti di ragionamento spaziale.
English
A recent trend in vision-language models (VLMs) has been to enhance their spatial cognition for embodied domains. Despite progress, existing evaluations have been limited both in paradigm and in coverage, hindering rapid, iterative model development. To address these limitations, we propose ESPIRE, a diagnostic benchmark for embodied spatial reasoning. ESPIRE offers a simulated world that physically grounds VLMs and evaluates them on spatial-reasoning-centric robotic tasks, thus narrowing the gap between evaluation and real-world deployment. To adapt VLMs to robotic tasks, we decompose each task into localization and execution, and frame both as generative problems, in stark contrast to predominant discriminative evaluations (e.g., via visual-question answering) that rely on distractors and discard execution. This decomposition further enables a fine-grained analysis beyond passive spatial reasoning toward reasoning to act. We systematically design ESPIRE both at the instruction level and at the environment level, ensuring broad coverage of spatial reasoning scenarios. We use ESPIRE to diagnose a range of frontier VLMs and provide in-depth analysis of their spatial reasoning behaviors.