Spatial-TTT: Потоковый анализ пространственного интеллекта на основе визуальных данных с обучением во время тестирования
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
March 12, 2026
Авторы: Fangfu Liu, Diankun Wu, Jiawei Chi, Yimo Cai, Yi-Hsin Hung, Xumin Yu, Hao Li, Han Hu, Yongming Rao, Yueqi Duan
cs.AI
Аннотация
Люди воспринимают и понимают реальные пространства через поток визуальных наблюдений. Следовательно, способность потоково поддерживать и обновлять пространственные данные из потенциально неограниченных видеопотоков необходима для пространственного интеллекта. Ключевая проблема заключается не просто в увеличении длины контекстного окна, а в том, как пространственная информация отбирается, организуется и сохраняется с течением времени. В данной статье мы предлагаем метод Spatial-TTT для потокового визуального пространственного интеллекта с обучением во время тестирования (Test-Time Training, TTT), который адаптирует подмножество параметров (быстрые веса) для захвата и организации пространственных данных в длительных видео сцен. В частности, мы разрабатываем гибридную архитектуру и применяем крупно-блочные обновления параллельно со вниманием скользящего окна для эффективной обработки пространственного видео. Для дальнейшего повышения пространственной осведомленности мы вводим пространственно-предсказательный механизм, применяемый к слоям TTT с помощью 3D пространственно-временной свертки, что побуждает модель захватывать геометрическое соответствие и временную непрерывность между кадрами. Помимо проектирования архитектуры, мы создаем набор данных с плотными 3D пространственными описаниями, который направляет модель на обновление ее быстрых весов для структурированного запоминания и организации глобальных 3D пространственных сигналов. Многочисленные эксперименты демонстрируют, что Spatial-TTT улучшает понимание пространства на длительных временных горизонтах и достигает передовых результатов на бенчмарках для видео с пространственной информацией. Страница проекта: https://liuff19.github.io/Spatial-TTT.
English
Humans perceive and understand real-world spaces through a stream of visual observations. Therefore, the ability to streamingly maintain and update spatial evidence from potentially unbounded video streams is essential for spatial intelligence. The core challenge is not simply longer context windows but how spatial information is selected, organized, and retained over time. In this paper, we propose Spatial-TTT towards streaming visual-based spatial intelligence with test-time training (TTT), which adapts a subset of parameters (fast weights) to capture and organize spatial evidence over long-horizon scene videos. Specifically, we design a hybrid architecture and adopt large-chunk updates parallel with sliding-window attention for efficient spatial video processing. To further promote spatial awareness, we introduce a spatial-predictive mechanism applied to TTT layers with 3D spatiotemporal convolution, which encourages the model to capture geometric correspondence and temporal continuity across frames. Beyond architecture design, we construct a dataset with dense 3D spatial descriptions, which guides the model to update its fast weights to memorize and organize global 3D spatial signals in a structured manner. Extensive experiments demonstrate that Spatial-TTT improves long-horizon spatial understanding and achieves state-of-the-art performance on video spatial benchmarks. Project page: https://liuff19.github.io/Spatial-TTT.