ESI-Bench: Rumo à Inteligência Espacial Corporificada que Fecha o Ciclo Percepção-Ação

Resumo

A inteligência espacial se desenvolve por meio de um ciclo percepção-ação: agentes agem para obter observações e raciocinam sobre como essas observações variam em função da ação. Em vez de processar passivamente o que é visto, eles revelam ativamente o que não é visto – estrutura ocluída, dinâmica, contenção e funcionalidade que não podem ser resolvidas apenas pela percepção passiva. Vamos além das formulações anteriores de inteligência espacial que assumem observações oraculares, reformulando o observador como um ator. Introduzimos o ESI-BENCH, um benchmark abrangente para inteligência espacial incorporada que abrange 10 categorias de tarefas e 29 subcategorias, construído sobre o OmniGibson e fundamentado nos sistemas de conhecimento central de Spelke. Os agentes devem decidir quais habilidades empregar – percepção, locomoção e manipulação – e como sequenciá-las para acumular ativamente evidências relevantes para a tarefa. Realizamos extensos experimentos com MLLMs de última geração e descobrimos que a exploração ativa supera substancialmente as abordagens passivas, com agentes descobrindo espontaneamente estratégias espaciais emergentes sem instruções explícitas, enquanto a multivisão aleatória frequentemente adiciona ruído em vez de sinal, apesar de consumir muito mais imagens. A maioria das falhas não decorre de percepção fraca, mas de cegueira de ação: escolhas de ação inadequadas levam a observações pobres, que por sua vez geram erros em cascata. Embora o embasamento 3D explícito estabilize o raciocínio em tarefas sensíveis à profundidade, a representação 3D imperfeita se mostra mais prejudicial do que as linhas de base 2D, distorcendo as relações espaciais. Estudos com humanos revelam ainda que, ao contrário dos humanos, que buscam pontos de vista falsificadores e revisam crenças sob contradição, os modelos se comprometem prematuramente com alta confiança, independentemente da qualidade das evidências, expondo uma lacuna metacognitiva que nem uma melhor percepção nem uma interação mais incorporada podem, por si só, fechar.

English

Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they actively uncover what is unseen - occluded structure, dynamics, containment, and functionality that cannot be resolved from passive sensing alone. We move beyond prior formulations of spatial intelligence that assume oracle observations by recasting the observer as an actor. We introduce ESI-BENCH, a comprehensive benchmark for embodied spatial intelligence spanning 10 task categories and 29 subcategories built on OmniGibson, grounded in Spelke's core knowledge systems. Agents must decide what abilities to deploy - perception, locomotion, and manipulation - and how to sequence them to actively accumulate task-relevant evidence. We conduct extensive experiments on state-of-the-art MLLMs and find that active exploration substantially outperforms passive counterparts, with agents spontaneously discovering emergent spatial strategies without explicit instructions, while random multi-view often adds noise rather than signal despite consuming far more images. Most failures stem not from weak perception but from action blindness: poor action choices lead to poor observations, which in turn drive cascading errors. While explicit 3D grounding stabilizes reasoning on depth-sensitive tasks, imperfect 3D representation proves more harmful than 2D baselines by distorting spatial relations. Human studies further reveal that unlike humans who seek falsifying viewpoints and revise beliefs under contradiction, models commit prematurely with high confidence regardless of evidence quality, exposing a metacognitive gap that neither better perception nor more embodied interaction alone can close.