VGGT: Transformador Basado en Geometría Visual

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Autores: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Resumen

Presentamos VGGT, una red neuronal de avance directo que infiere directamente todos los atributos 3D clave de una escena, incluyendo parámetros de la cámara, mapas de puntos, mapas de profundidad y trayectorias de puntos 3D, a partir de una, pocas o cientos de sus vistas. Este enfoque representa un avance en la visión por computadora 3D, donde los modelos típicamente han estado restringidos y especializados para tareas individuales. Además, es simple y eficiente, reconstruyendo imágenes en menos de un segundo, y aún supera a alternativas que requieren post-procesamiento con técnicas de optimización de geometría visual. La red logra resultados de vanguardia en múltiples tareas 3D, incluyendo estimación de parámetros de la cámara, estimación de profundidad multi-vista, reconstrucción de nubes de puntos densas y seguimiento de puntos 3D. También demostramos que el uso de VGGT preentrenado como columna vertebral de características mejora significativamente tareas posteriores, como el seguimiento de puntos no rígidos y la síntesis de nuevas vistas de avance directo. El código y los modelos están disponibles públicamente en https://github.com/facebookresearch/vggt.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.