Spatial-TTT: Streaming-basierte räumliche Intelligenz mit visueller Grundlage durch Test-Time Training
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
March 12, 2026
Autoren: Fangfu Liu, Diankun Wu, Jiawei Chi, Yimo Cai, Yi-Hsin Hung, Xumin Yu, Hao Li, Han Hu, Yongming Rao, Yueqi Duan
cs.AI
Zusammenfassung
Menschen nehmen reale Räume über einen Strom visueller Beobachtungen wahr und verstehen sie. Daher ist die Fähigkeit, räumliche Evidenz aus potenziell unbegrenzten Videoströmen streamingfähig zu erhalten und zu aktualisieren, entscheidend für räumliche Intelligenz. Die zentrale Herausforderung besteht nicht einfach in längeren Kontextfenstern, sondern darin, wie räumliche Informationen über die Zeit hinweg ausgewählt, organisiert und beibehalten werden. In diesem Artikel schlagen wir Spatial-TTT vor, um streamingbasierte, visuelle räumliche Intelligenz mit Test-Time Training (TTT) zu erreichen. Dabei passt es eine Teilmenge von Parametern (schnelle Gewichte) an, um räumliche Evidenz in langen Szenenvideos zu erfassen und zu organisieren. Konkret entwerfen wir eine hybride Architektur und setzen große Chunk-Updates parallel zu Sliding-Window-Attention für eine effiziente räumliche Videoverarbeitung ein. Um das räumliche Bewusstsein weiter zu fördern, führen wir einen räumlich-prädiktiven Mechanismus ein, der auf TTT-Schichten mit 3D-raumzeitlicher Faltung angewendet wird. Dies ermutigt das Modell, geometrische Korrespondenz und zeitliche Kontinuität über Bildfolgen hinweg zu erfassen. Über die Architektur hinaus erstellen wir einen Datensatz mit dichten 3D-Raumbeschreibungen, der das Modell anleitet, seine schnellen Gewichte so zu aktualisieren, dass globale 3D-Raumsignale strukturiert gespeichert und organisiert werden. Umfangreiche Experimente zeigen, dass Spatial-TTT das räumliche Verständnis über lange Zeithorizonte verbessert und state-of-the-art Leistung auf Video-Raum-Benchmarks erreicht. Projektseite: https://liuff19.github.io/Spatial-TTT.
English
Humans perceive and understand real-world spaces through a stream of visual observations. Therefore, the ability to streamingly maintain and update spatial evidence from potentially unbounded video streams is essential for spatial intelligence. The core challenge is not simply longer context windows but how spatial information is selected, organized, and retained over time. In this paper, we propose Spatial-TTT towards streaming visual-based spatial intelligence with test-time training (TTT), which adapts a subset of parameters (fast weights) to capture and organize spatial evidence over long-horizon scene videos. Specifically, we design a hybrid architecture and adopt large-chunk updates parallel with sliding-window attention for efficient spatial video processing. To further promote spatial awareness, we introduce a spatial-predictive mechanism applied to TTT layers with 3D spatiotemporal convolution, which encourages the model to capture geometric correspondence and temporal continuity across frames. Beyond architecture design, we construct a dataset with dense 3D spatial descriptions, which guides the model to update its fast weights to memorize and organize global 3D spatial signals in a structured manner. Extensive experiments demonstrate that Spatial-TTT improves long-horizon spatial understanding and achieves state-of-the-art performance on video spatial benchmarks. Project page: https://liuff19.github.io/Spatial-TTT.