Spatial-TTT: Inteligência Espacial Baseada em Visão em Fluxo Contínuo com Treinamento no Momento do Teste
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
March 12, 2026
Autores: Fangfu Liu, Diankun Wu, Jiawei Chi, Yimo Cai, Yi-Hsin Hung, Xumin Yu, Hao Li, Han Hu, Yongming Rao, Yueqi Duan
cs.AI
Resumo
Os seres humanos percebem e compreendem os espaços do mundo real através de um fluxo de observações visuais. Portanto, a capacidade de manter e atualizar continuamente evidências espaciais a partir de fluxos de vídeo potencialmente ilimitados é essencial para a inteligência espacial. O principal desafio não é simplesmente ter janelas de contexto mais longas, mas sim como a informação espacial é selecionada, organizada e retida ao longo do tempo. Neste artigo, propomos o Spatial-TTT para uma inteligência espacial baseada em visão em fluxo contínuo com treino em tempo de teste (TTT), que adapta um subconjunto de parâmetros (pesos rápidos) para capturar e organizar evidências espaciais em vídeos de cenas de longo horizonte. Especificamente, projetamos uma arquitetura híbrida e adotamos atualizações em blocos grandes em paralelo com atenção de janela deslizante para um processamento espacial de vídeo eficiente. Para promover ainda mais a consciência espacial, introduzimos um mecanismo preditivo espacial aplicado às camadas TTT com convolução espaciotemporal 3D, que incentiva o modelo a capturar correspondência geométrica e continuidade temporal entre os frames. Para além do design da arquitetura, construímos um conjunto de dados com descrições espaciais 3D densas, que orienta o modelo a atualizar os seus pesos rápidos para memorizar e organizar sinais espaciais 3D globais de forma estruturada. Experimentos extensivos demonstram que o Spatial-TTT melhora a compreensão espacial de longo horizonte e alcança desempenho state-of-the-art em benchmarks de vídeo espacial. Página do projeto: https://liuff19.github.io/Spatial-TTT.
English
Humans perceive and understand real-world spaces through a stream of visual observations. Therefore, the ability to streamingly maintain and update spatial evidence from potentially unbounded video streams is essential for spatial intelligence. The core challenge is not simply longer context windows but how spatial information is selected, organized, and retained over time. In this paper, we propose Spatial-TTT towards streaming visual-based spatial intelligence with test-time training (TTT), which adapts a subset of parameters (fast weights) to capture and organize spatial evidence over long-horizon scene videos. Specifically, we design a hybrid architecture and adopt large-chunk updates parallel with sliding-window attention for efficient spatial video processing. To further promote spatial awareness, we introduce a spatial-predictive mechanism applied to TTT layers with 3D spatiotemporal convolution, which encourages the model to capture geometric correspondence and temporal continuity across frames. Beyond architecture design, we construct a dataset with dense 3D spatial descriptions, which guides the model to update its fast weights to memorize and organize global 3D spatial signals in a structured manner. Extensive experiments demonstrate that Spatial-TTT improves long-horizon spatial understanding and achieves state-of-the-art performance on video spatial benchmarks. Project page: https://liuff19.github.io/Spatial-TTT.