ESI-Bench: К воплощенному пространственному интеллекту, замыкающему цикл восприятия-действия

Аннотация

Пространственный интеллект разворачивается через цикл восприятия-действия: агенты совершают действия для получения наблюдений и рассуждают о том, как наблюдения изменяются в зависимости от действия. Вместо пассивной обработки того, что видимо, они активно раскрывают то, что скрыто — окклюдированную структуру, динамику, вместимость и функциональность, которые невозможно определить только путем пассивного сенсорного восприятия. Мы выходим за рамки предыдущих формулировок пространственного интеллекта, предполагающих оракульские наблюдения, переосмысливая наблюдателя как действующее лицо. Мы представляем ESI-BENCH — всеобъемлющий бенчмарк воплощенного пространственного интеллекта, охватывающий 10 категорий задач и 29 подкатегорий, построенный на OmniGibson и основанный на фундаментальных системах познания Спелке. Агенты должны решать, какие способности применять — восприятие, локомоцию и манипуляцию — и как их последовательно использовать для активного накопления релевантных задаче свидетельств. Мы проводим обширные эксперименты с современными мультимодальными большими языковыми моделями (MLLM) и обнаруживаем, что активное исследование значительно превосходит пассивные аналоги: агенты спонтанно открывают возникающие пространственные стратегии без явных инструкций, в то время как случайный мультивзгляд часто добавляет шум, а не сигнал, несмотря на потребление гораздо большего количества изображений. Большинство неудач проистекает не из слабого восприятия, а из слепоты к действиям: неудачный выбор действий ведет к плохим наблюдениям, которые, в свою очередь, вызывают каскад ошибок. Хотя явная 3D-привязка стабилизирует рассуждение в задачах, чувствительных к глубине, несовершенное 3D-представление оказывается более вредным, чем 2D-базовые модели, искажая пространственные отношения. Исследования с участием людей дополнительно показывают, что, в отличие от людей, которые ищут опровергающие точки обзора и пересматривают убеждения при противоречии, модели преждевременно принимают решения с высокой уверенностью независимо от качества свидетельств, выявляя метакогнитивный разрыв, который не может преодолеть ни лучшее восприятие, ни более воплощенное взаимодействие по отдельности.

English

Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they actively uncover what is unseen - occluded structure, dynamics, containment, and functionality that cannot be resolved from passive sensing alone. We move beyond prior formulations of spatial intelligence that assume oracle observations by recasting the observer as an actor. We introduce ESI-BENCH, a comprehensive benchmark for embodied spatial intelligence spanning 10 task categories and 29 subcategories built on OmniGibson, grounded in Spelke's core knowledge systems. Agents must decide what abilities to deploy - perception, locomotion, and manipulation - and how to sequence them to actively accumulate task-relevant evidence. We conduct extensive experiments on state-of-the-art MLLMs and find that active exploration substantially outperforms passive counterparts, with agents spontaneously discovering emergent spatial strategies without explicit instructions, while random multi-view often adds noise rather than signal despite consuming far more images. Most failures stem not from weak perception but from action blindness: poor action choices lead to poor observations, which in turn drive cascading errors. While explicit 3D grounding stabilizes reasoning on depth-sensitive tasks, imperfect 3D representation proves more harmful than 2D baselines by distorting spatial relations. Human studies further reveal that unlike humans who seek falsifying viewpoints and revise beliefs under contradiction, models commit prematurely with high confidence regardless of evidence quality, exposing a metacognitive gap that neither better perception nor more embodied interaction alone can close.