Transformador de Geometría Visual 4D en Tiempo Real

Streaming 4D Visual Geometry Transformer

July 15, 2025

Autores: Dong Zhuo, Wenzhao Zheng, Jiahe Guo, Yuqi Wu, Jie Zhou, Jiwen Lu

cs.AI

Resumen

La percepción y reconstrucción de la geometría espacio-temporal 4D a partir de videos es una tarea fundamental pero desafiante en el campo de la visión por computadora. Para facilitar aplicaciones interactivas y en tiempo real, proponemos un transformador de geometría visual 4D en streaming que comparte una filosofía similar con los modelos de lenguaje autoregresivos de gran escala. Exploramos un diseño simple y eficiente, y empleamos una arquitectura de transformador causal para procesar la secuencia de entrada de manera en línea. Utilizamos atención causal temporal y almacenamos en caché las claves y valores históricos como memoria implícita para permitir una reconstrucción 4D a largo plazo eficiente en streaming. Este diseño puede manejar la reconstrucción 4D en tiempo real al integrar incrementalmente la información histórica mientras mantiene una alta consistencia espacial. Para un entrenamiento eficiente, proponemos destilar conocimiento del transformador de geometría visual bidireccional denso (VGGT) a nuestro modelo causal. Para la inferencia, nuestro modelo permite la migración de operadores de atención eficiente optimizados (por ejemplo, FlashAttention) desde el campo de los modelos de lenguaje de gran escala. Experimentos exhaustivos en varios puntos de referencia de percepción de geometría 4D demuestran que nuestro modelo aumenta la velocidad de inferencia en escenarios en línea mientras mantiene un rendimiento competitivo, allanando el camino para sistemas de visión 4D escalables e interactivos. El código está disponible en: https://github.com/wzzheng/StreamVGGT.

English

Perceiving and reconstructing 4D spatial-temporal geometry from videos is a fundamental yet challenging computer vision task. To facilitate interactive and real-time applications, we propose a streaming 4D visual geometry transformer that shares a similar philosophy with autoregressive large language models. We explore a simple and efficient design and employ a causal transformer architecture to process the input sequence in an online manner. We use temporal causal attention and cache the historical keys and values as implicit memory to enable efficient streaming long-term 4D reconstruction. This design can handle real-time 4D reconstruction by incrementally integrating historical information while maintaining high-quality spatial consistency. For efficient training, we propose to distill knowledge from the dense bidirectional visual geometry grounded transformer (VGGT) to our causal model. For inference, our model supports the migration of optimized efficient attention operator (e.g., FlashAttention) from the field of large language models. Extensive experiments on various 4D geometry perception benchmarks demonstrate that our model increases the inference speed in online scenarios while maintaining competitive performance, paving the way for scalable and interactive 4D vision systems. Code is available at: https://github.com/wzzheng/StreamVGGT.