Трансформер для потоковой 4D визуальной геометрии

Streaming 4D Visual Geometry Transformer

July 15, 2025

Авторы: Dong Zhuo, Wenzhao Zheng, Jiahe Guo, Yuqi Wu, Jie Zhou, Jiwen Lu

cs.AI

Аннотация

Восприятие и реконструкция 4D пространственно-временной геометрии из видео является фундаментальной, но сложной задачей компьютерного зрения. Для обеспечения интерактивных и работающих в реальном времени приложений мы предлагаем потоковый 4D визуальный геометрический трансформер, который разделяет схожую философию с авторегрессивными большими языковыми моделями. Мы исследуем простой и эффективный дизайн и используем причинную архитектуру трансформера для обработки входной последовательности в режиме реального времени. Мы применяем временное причинное внимание и кэшируем исторические ключи и значения как неявную память, чтобы обеспечить эффективную потоковую долгосрочную 4D реконструкцию. Этот подход позволяет обрабатывать 4D реконструкцию в реальном времени, постепенно интегрируя историческую информацию, сохраняя при этом высокое качество пространственной согласованности. Для эффективного обучения мы предлагаем дистиллировать знания из плотного двунаправленного визуального геометрического трансформера (VGGT) в нашу причинную модель. Для вывода наша модель поддерживает перенос оптимизированного оператора эффективного внимания (например, FlashAttention) из области больших языковых моделей. Многочисленные эксперименты на различных бенчмарках восприятия 4D геометрии демонстрируют, что наша модель увеличивает скорость вывода в онлайн-сценариях, сохраняя при этом конкурентоспособную производительность, прокладывая путь для масштабируемых и интерактивных 4D систем зрения. Код доступен по адресу: https://github.com/wzzheng/StreamVGGT.

English

Perceiving and reconstructing 4D spatial-temporal geometry from videos is a fundamental yet challenging computer vision task. To facilitate interactive and real-time applications, we propose a streaming 4D visual geometry transformer that shares a similar philosophy with autoregressive large language models. We explore a simple and efficient design and employ a causal transformer architecture to process the input sequence in an online manner. We use temporal causal attention and cache the historical keys and values as implicit memory to enable efficient streaming long-term 4D reconstruction. This design can handle real-time 4D reconstruction by incrementally integrating historical information while maintaining high-quality spatial consistency. For efficient training, we propose to distill knowledge from the dense bidirectional visual geometry grounded transformer (VGGT) to our causal model. For inference, our model supports the migration of optimized efficient attention operator (e.g., FlashAttention) from the field of large language models. Extensive experiments on various 4D geometry perception benchmarks demonstrate that our model increases the inference speed in online scenarios while maintaining competitive performance, paving the way for scalable and interactive 4D vision systems. Code is available at: https://github.com/wzzheng/StreamVGGT.