O Eu no Espaço: Benchmarking da Autoconsciência e Cognição Espacial na Inteligência Incorporada de VANTs

Resumo

Os sistemas autônomos de UAV dependem cada vez mais de modelos de linguagem grandes multimodais (MLLMs) para operar em ambientes complexos do mundo real. Tais cenários incorporados exigem não apenas a compreensão do espaço circundante, mas também a manutenção de uma representação coerente do próprio agente. No entanto, as abordagens e benchmarks existentes voltados para UAV permanecem em grande parte centrados no ambiente, focando principalmente em tarefas de compreensão espacial, com a autoconsciência do agente permanecendo implícita. Para preencher essa lacuna, apresentamos o SIS-Bench, um benchmark para avaliar a inteligência espacial incorporada em cenários de UAV sob uma formulação unificada de self-in-space. O SIS-Bench organiza a avaliação ao longo de duas dimensões complementares, espaço e self, e uma hierarquia de três níveis de percepção, memória e raciocínio. Ele contém 4.856 pares pergunta-resposta em 13 tarefas derivadas de 1.646 vídeos reais de UAV por meio de um pipeline de construção condicionado a tarefas, com verificação por especialistas. Avaliações extensas revelam que os MLLMs atuais apresentam limitações fundamentais na modelagem de processos dinâmicos e centrados no agente. Em particular, observamos um desequilíbrio claro entre cognição espacial e autoconsciência, bem como uma degradação progressiva do desempenho entre os níveis cognitivos. Motivados por essas descobertas, exploramos ainda uma representação consciente de movimento que incorpora dinâmicas relacionadas ao self por meio de fluxo óptico e fusão de características visuais. Resultados experimentais mostram que modelar o movimento do agente melhora consistentemente o desempenho de percepção e memória, não apenas na cognição espacial, mas também na autoconsciência, e se generaliza para tarefas posteriores de tomada de decisão de UAV. Nossos resultados destacam a importância da autoconsciência para o avanço da inteligência espacial incorporada e fornecem tanto um novo benchmark quanto evidências empíricas para a modelagem de self-in-space consciente de movimento.

English

Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification.Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels.Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks.Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.