ESI-Bench: Auf dem Weg zu verkörperter räumlicher Intelligenz, die den Wahrnehmungs-Handlungs-Kreislauf schließt

Zusammenfassung

Räumliche Intelligenz entfaltet sich in einem Wahrnehmungs-Handlungs-Kreislauf: Agenten handeln, um Beobachtungen zu sammeln, und schlussfolgern, wie Beobachtungen als Funktion von Handlungen variieren. Anstatt passiv zu verarbeiten, was gesehen wird, decken sie aktiv auf, was unsichtbar ist – verdeckte Strukturen, Dynamiken, Behältnisse und Funktionalitäten, die allein durch passive Wahrnehmung nicht erfasst werden können. Wir gehen über frühere Formulierungen räumlicher Intelligenz hinaus, die Orakelbeobachtungen voraussetzen, indem wir den Beobachter als Handelnden neu definieren. Wir führen ESI-BENCH ein, einen umfassenden Benchmark für verkörperte räumliche Intelligenz, der 10 Aufgabenkategorien und 29 Unterkategorien umfasst, auf OmniGibson aufbaut und auf Spelkes Kernwissenssystemen gründet. Agenten müssen entscheiden, welche Fähigkeiten sie einsetzen – Wahrnehmung, Fortbewegung und Manipulation – und wie sie diese sequenzieren, um aufgabenrelevante Evidenz aktiv anzusammeln. Wir führen umfangreiche Experimente mit hochmodernen MLLMs durch und stellen fest, dass aktive Exploration passive Ansätze deutlich übertrifft, wobei Agenten spontan emergente räumliche Strategien entdecken, ohne explizite Anweisungen, während zufällige Multi-Ansichten oft eher Rauschen als Signal hinzufügen, obwohl sie weitaus mehr Bilder verbrauchen. Die meisten Fehler resultieren nicht aus schwacher Wahrnehmung, sondern aus Handlungsblindheit: schlechte Handlungswahl führt zu schlechten Beobachtungen, die wiederum kaskadierende Fehler auslösen. Während explizite 3D-Verankerung die Schlussfolgerung bei tiefensensitiven Aufgaben stabilisiert, erweist sich unvollkommene 3D-Repräsentation als schädlicher als 2D-Baselines, da sie räumliche Beziehungen verzerrt. Humanstudien zeigen zudem, dass Modelle – anders als Menschen, die falsifizierende Blickwinkel suchen und Überzeugungen bei Widersprüchen revidieren – mit hoher Konfidenz voreilig urteilen, unabhängig von der Evidenzqualität, was eine metakognitive Lücke offenbart, die weder bessere Wahrnehmung noch mehr verkörperte Interaktion allein schließen kann.

English

Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they actively uncover what is unseen - occluded structure, dynamics, containment, and functionality that cannot be resolved from passive sensing alone. We move beyond prior formulations of spatial intelligence that assume oracle observations by recasting the observer as an actor. We introduce ESI-BENCH, a comprehensive benchmark for embodied spatial intelligence spanning 10 task categories and 29 subcategories built on OmniGibson, grounded in Spelke's core knowledge systems. Agents must decide what abilities to deploy - perception, locomotion, and manipulation - and how to sequence them to actively accumulate task-relevant evidence. We conduct extensive experiments on state-of-the-art MLLMs and find that active exploration substantially outperforms passive counterparts, with agents spontaneously discovering emergent spatial strategies without explicit instructions, while random multi-view often adds noise rather than signal despite consuming far more images. Most failures stem not from weak perception but from action blindness: poor action choices lead to poor observations, which in turn drive cascading errors. While explicit 3D grounding stabilizes reasoning on depth-sensitive tasks, imperfect 3D representation proves more harmful than 2D baselines by distorting spatial relations. Human studies further reveal that unlike humans who seek falsifying viewpoints and revise beliefs under contradiction, models commit prematurely with high confidence regardless of evidence quality, exposing a metacognitive gap that neither better perception nor more embodied interaction alone can close.