ESI-Bench: Op weg naar belichaamde ruimtelijke intelligentie die de perceptie-actielus sluit

Samenvatting

Ruimtelijke intelligentie ontvouwt zich via een perceptie-actie-lus: agenten handelen om waarnemingen te verkrijgen en redeneren over hoe waarnemingen variëren als functie van actie. In plaats van passief te verwerken wat wordt gezien, ontdekken ze actief wat ongezien is – verborgen structuur, dynamiek, insluiting en functionaliteit die niet kunnen worden opgelost door alleen passieve waarneming. We gaan verder dan eerdere formuleringen van ruimtelijke intelligentie die alwetende waarneming veronderstellen, door de waarnemer te herdefiniëren als een acteur. We introduceren ESI-BENCH, een uitgebreide benchmark voor belichaamde ruimtelijke intelligentie die 10 taakcategorieën en 29 subcategorieën omvat, gebouwd op OmniGibson, gegrond in Spelke's kernkennissystemen. Agenten moeten beslissen welke vaardigheden ze inzetten – perceptie, voortbeweging en manipulatie – en hoe ze deze te sequentiëren om actief taakrelevante bewijzen te verzamelen. We voeren uitgebreide experimenten uit met state-of-the-art MLLM's en vinden dat actieve exploratie aanzienlijk beter presteert dan passieve tegenhangers, waarbij agenten spontaan opkomende ruimtelijke strategieën ontdekken zonder expliciete instructies, terwijl willekeurig multi-view vaak ruis toevoegt in plaats van signaal, ondanks dat het veel meer afbeeldingen verbruikt. De meeste mislukkingen komen niet voort uit zwakke perceptie, maar uit actieblindheid: slechte actiekeuzes leiden tot slechte waarnemingen, die op hun beurt cascadefouten veroorzaken. Hoewel expliciete 3D-verankering redeneren stabiliseert bij dieptegevoelige taken, blijkt onvolmaakte 3D-representatie schadelijker te zijn dan 2D-baselines door het vertekenen van ruimtelijke relaties. Menselijke studies onthullen verder dat, in tegenstelling tot mensen die falsificerende gezichtspunten zoeken en overtuigingen herzien bij tegenstrijdigheid, modellen zich voortijdig met hoge zekerheid vastleggen ongeacht de kwaliteit van het bewijs, wat een metacognitieve kloof blootlegt die noch betere perceptie noch meer belichaamde interactie alleen kunnen overbruggen.

English

Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they actively uncover what is unseen - occluded structure, dynamics, containment, and functionality that cannot be resolved from passive sensing alone. We move beyond prior formulations of spatial intelligence that assume oracle observations by recasting the observer as an actor. We introduce ESI-BENCH, a comprehensive benchmark for embodied spatial intelligence spanning 10 task categories and 29 subcategories built on OmniGibson, grounded in Spelke's core knowledge systems. Agents must decide what abilities to deploy - perception, locomotion, and manipulation - and how to sequence them to actively accumulate task-relevant evidence. We conduct extensive experiments on state-of-the-art MLLMs and find that active exploration substantially outperforms passive counterparts, with agents spontaneously discovering emergent spatial strategies without explicit instructions, while random multi-view often adds noise rather than signal despite consuming far more images. Most failures stem not from weak perception but from action blindness: poor action choices lead to poor observations, which in turn drive cascading errors. While explicit 3D grounding stabilizes reasoning on depth-sensitive tasks, imperfect 3D representation proves more harmful than 2D baselines by distorting spatial relations. Human studies further reveal that unlike humans who seek falsifying viewpoints and revise beliefs under contradiction, models commit prematurely with high confidence regardless of evidence quality, exposing a metacognitive gap that neither better perception nor more embodied interaction alone can close.