Selbst im Raum: Benchmarking von Selbstwahrnehmung und räumlicher Kognition in der verkörperten Intelligenz von UAVs

Zusammenfassung

Autonome UAV-Systeme verlassen sich zunehmend auf multimodale große Sprachmodelle (MLLMs), um in komplexen realen Umgebungen zu operieren. Derartige verkörperte Szenarien erfordern nicht nur das Verständnis des umgebenden Raums, sondern auch die Aufrechterhaltung einer kohärenten Repräsentation des Agenten selbst. Bestehende UAV-orientierte Ansätze und Benchmarks bleiben jedoch weitgehend umweltzentriert und konzentrieren sich primär auf räumliche Verständnisaufgaben, während das Selbstbewusstsein des Agenten implizit bleibt. Um diese Lücke zu schließen, führen wir SIS-Bench ein, einen Benchmark zur Bewertung verkörperter räumlicher Intelligenz in UAV-Szenarien unter einer einheitlichen Self-in-Space-Formulierung. SIS-Bench organisiert die Bewertung entlang zweier komplementärer Dimensionen – Raum und Selbst – sowie einer dreistufigen Hierarchie aus Wahrnehmung, Gedächtnis und Schlussfolgerung. Es enthält 4.856 Frage-Antwort-Paare aus 13 Aufgaben, die aus 1.646 realen UAV-Videos durch eine aufgabenabhängige Konstruktionspipeline mit Expertenverifikation abgeleitet wurden. Umfangreiche Evaluierungen zeigen, dass aktuelle MLLMs grundlegende Einschränkungen bei der Modellierung dynamischer und agentenzentrierter Prozesse aufweisen. Insbesondere beobachten wir ein klares Ungleichgewicht zwischen räumlicher Kognition und Selbstbewusstsein sowie eine fortschreitende Leistungsverschlechterung über die kognitiven Ebenen hinweg. Motiviert durch diese Ergebnisse untersuchen wir weiterhin eine bewegungsbewusste Repräsentation, die selbstbezogene Dynamiken durch optischen Fluss und visuelle Merkmalsfusion einbezieht. Experimentelle Ergebnisse zeigen, dass die Modellierung von Agentenbewegungen konsistent die Wahrnehmungs- und Gedächtnisleistung verbessert – nicht nur in der räumlichen Kognition, sondern auch im Selbstbewusstsein – und sich auf nachgelagerte UAV-Entscheidungsaufgaben verallgemeinern lässt. Unsere Ergebnisse unterstreichen die Bedeutung des Selbstbewusstseins für die Weiterentwicklung verkörperter räumlicher Intelligenz und liefern sowohl einen neuen Benchmark als auch empirische Belege für bewegungsbewusste Self-in-Space-Modellierung.

English

Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification.Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels.Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks.Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.