Spatial-TTT: Streaming Visueel-Gebaseerde Ruimtelijke Intelligentie met Test-Time Training
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
March 12, 2026
Auteurs: Fangfu Liu, Diankun Wu, Jiawei Chi, Yimo Cai, Yi-Hsin Hung, Xumin Yu, Hao Li, Han Hu, Yongming Rao, Yueqi Duan
cs.AI
Samenvatting
Mensen nemen real-world ruimtes waar en begrijpen deze via een stroom van visuele observaties. Daarom is het vermogen om ruimtelijk bewijsmateriaal stroomachtig te onderhouden en bij te werken uit potentieel onbegrensde videostreams essentieel voor ruimtelijke intelligentie. De kernuitdaging ligt niet simpelweg in langere contextvensters, maar in hoe ruimtelijke informatie wordt geselecteerd, georganiseerd en vastgehouden over tijd. In dit artikel stellen we Spatial-TTT voor als benadering voor stroomachtige, visueel gebaseerde ruimtelijke intelligentie met test-time training (TTT), waarbij een subset van parameters (snelle gewichten) wordt aangepast om ruimtelijk bewijsmateriaal over lange-scènevideo's vast te leggen en te organiseren. Specifiek ontwerpen we een hybride architectuur en passen we grote-chunk updates toe, parallel aan sliding-window attention, voor efficiënte ruimtelijke videoverwerking. Om het ruimtelijk bewustzijn verder te bevorderen, introduceren we een ruimtelijk-voorspellend mechanisme toegepast op TTT-lagen met 3D spatiotemporele convolutie, wat het model aanmoedigt om geometrische correspondentie en temporele continuïteit tussen frames te vatten. Naast architectuurontwerp construeren we een dataset met dichte 3D-ruimtelijke beschrijvingen, die het model leidt om zijn snelle gewichten bij te werken om globale 3D-ruimtelijke signalen op gestructureerde wijze te onthouden en organiseren. Uitgebreide experimenten tonen aan dat Spatial-TTT het ruimtelijk begrip over lange horizonnen verbetert en state-of-the-art prestaties behaalt op videoruimtelijke benchmarks. Projectpagina: https://liuff19.github.io/Spatial-TTT.
English
Humans perceive and understand real-world spaces through a stream of visual observations. Therefore, the ability to streamingly maintain and update spatial evidence from potentially unbounded video streams is essential for spatial intelligence. The core challenge is not simply longer context windows but how spatial information is selected, organized, and retained over time. In this paper, we propose Spatial-TTT towards streaming visual-based spatial intelligence with test-time training (TTT), which adapts a subset of parameters (fast weights) to capture and organize spatial evidence over long-horizon scene videos. Specifically, we design a hybrid architecture and adopt large-chunk updates parallel with sliding-window attention for efficient spatial video processing. To further promote spatial awareness, we introduce a spatial-predictive mechanism applied to TTT layers with 3D spatiotemporal convolution, which encourages the model to capture geometric correspondence and temporal continuity across frames. Beyond architecture design, we construct a dataset with dense 3D spatial descriptions, which guides the model to update its fast weights to memorize and organize global 3D spatial signals in a structured manner. Extensive experiments demonstrate that Spatial-TTT improves long-horizon spatial understanding and achieves state-of-the-art performance on video spatial benchmarks. Project page: https://liuff19.github.io/Spatial-TTT.