El yo en el espacio: Evaluación comparativa de la autoconciencia y la cognición espacial en la inteligencia encarnada de UAV

Resumen

Los sistemas UAV autónomos dependen cada vez más de modelos de lenguaje grandes multimodales (MLLMs) para operar en entornos reales complejos. Estos escenarios corporizados requieren no solo comprender el espacio circundante, sino también mantener una representación coherente del propio agente. Sin embargo, los enfoques y puntos de referencia existentes orientados a UAV siguen estando centrados principalmente en el entorno, enfocándose en tareas de comprensión espacial, mientras que la autoconciencia del agente permanece implícita. Para abordar esta carencia, presentamos SIS-Bench, un punto de referencia para evaluar la inteligencia espacial corporizada en escenarios UAV bajo una formulación unificada de "yo en el espacio" (self-in-space). SIS-Bench organiza la evaluación a lo largo de dos dimensiones complementarias, espacio y yo, y una jerarquía de tres niveles: percepción, memoria y razonamiento. Contiene 4856 pares de pregunta-respuesta en 13 tareas derivadas de 1646 videos UAV del mundo real mediante un pipeline de construcción condicionado por tareas con verificación experta. Evaluaciones exhaustivas revelan que los MLLMs actuales presentan limitaciones fundamentales en el modelado de procesos dinámicos y centrados en el agente. En particular, observamos un claro desequilibrio entre la cognición espacial y la autoconciencia, así como una degradación progresiva del rendimiento a través de los niveles cognitivos. Motivados por estos hallazgos, exploramos además una representación consciente del movimiento que incorpora dinámicas relacionadas con el yo mediante flujo óptico y fusión de características visuales. Los resultados experimentales muestran que modelar el movimiento del agente mejora consistentemente el rendimiento en percepción y memoria, no solo en cognición espacial sino también en autoconciencia, y se generaliza a tareas posteriores de toma de decisiones en UAV. Nuestros resultados destacan la importancia de la autoconciencia para avanzar en la inteligencia espacial corporizada, y proporcionan tanto un nuevo punto de referencia como evidencia empírica para el modelado de "yo en el espacio" consciente del movimiento.

English

Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification.Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels.Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks.Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.