Streaming 4D Visuelle Geometrie-Transformation

Streaming 4D Visual Geometry Transformer

July 15, 2025

papers.authors: Dong Zhuo, Wenzhao Zheng, Jiahe Guo, Yuqi Wu, Jie Zhou, Jiwen Lu

cs.AI

papers.abstract

Die Wahrnehmung und Rekonstruktion von 4D räumlich-zeitlicher Geometrie aus Videos ist eine grundlegende, aber herausfordernde Aufgabe der Computer Vision. Um interaktive und Echtzeitanwendungen zu ermöglichen, schlagen wir einen Streaming-4D-Visual-Geometry-Transformer vor, der eine ähnliche Philosophie wie autoregressive große Sprachmodelle verfolgt. Wir untersuchen ein einfaches und effizientes Design und verwenden eine kausale Transformer-Architektur, um die Eingabesequenz in Echtzeit zu verarbeiten. Wir nutzen zeitlich kausale Aufmerksamkeit und speichern historische Schlüssel und Werte als implizites Gedächtnis, um eine effiziente Streaming-Langzeit-4D-Rekonstruktion zu ermöglichen. Dieses Design kann Echtzeit-4D-Rekonstruktion durch inkrementelle Integration historischer Informationen bewältigen, während gleichzeitig eine hohe räumliche Konsistenz gewährleistet wird. Für ein effizientes Training schlagen wir vor, Wissen aus dem dichten bidirektionalen Visual-Geometry-Grounded-Transformer (VGGT) in unser kausales Modell zu destillieren. Für die Inferenz unterstützt unser Modell die Migration von optimierten effizienten Aufmerksamkeitsoperatoren (z. B. FlashAttention) aus dem Bereich der großen Sprachmodelle. Umfangreiche Experimente auf verschiedenen 4D-Geometrie-Wahrnehmungs-Benchmarks zeigen, dass unser Modell die Inferenzgeschwindigkeit in Online-Szenarien erhöht, während es wettbewerbsfähige Leistung beibehält, und ebnet so den Weg für skalierbare und interaktive 4D-Visionsysteme. Der Code ist verfügbar unter: https://github.com/wzzheng/StreamVGGT.

English

Perceiving and reconstructing 4D spatial-temporal geometry from videos is a fundamental yet challenging computer vision task. To facilitate interactive and real-time applications, we propose a streaming 4D visual geometry transformer that shares a similar philosophy with autoregressive large language models. We explore a simple and efficient design and employ a causal transformer architecture to process the input sequence in an online manner. We use temporal causal attention and cache the historical keys and values as implicit memory to enable efficient streaming long-term 4D reconstruction. This design can handle real-time 4D reconstruction by incrementally integrating historical information while maintaining high-quality spatial consistency. For efficient training, we propose to distill knowledge from the dense bidirectional visual geometry grounded transformer (VGGT) to our causal model. For inference, our model supports the migration of optimized efficient attention operator (e.g., FlashAttention) from the field of large language models. Extensive experiments on various 4D geometry perception benchmarks demonstrate that our model increases the inference speed in online scenarios while maintaining competitive performance, paving the way for scalable and interactive 4D vision systems. Code is available at: https://github.com/wzzheng/StreamVGGT.