VGGT: Transformador com Base em Geometria Visual

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Autores: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Resumo

Apresentamos o VGGT, uma rede neural feed-forward que infere diretamente todos os atributos 3D essenciais de uma cena, incluindo parâmetros da câmera, mapas de pontos, mapas de profundidade e trilhas de pontos 3D, a partir de uma, algumas ou centenas de suas visualizações. Essa abordagem representa um avanço na visão computacional 3D, onde os modelos tradicionalmente foram restritos e especializados para tarefas únicas. Ela também é simples e eficiente, reconstruindo imagens em menos de um segundo, superando ainda alternativas que exigem pós-processamento com técnicas de otimização de geometria visual. A rede alcança resultados de ponta em múltiplas tarefas 3D, incluindo estimativa de parâmetros da câmera, estimativa de profundidade multiview, reconstrução densa de nuvem de pontos e rastreamento de pontos 3D. Também demonstramos que o uso do VGGT pré-treinado como backbone de características melhora significativamente tarefas subsequentes, como rastreamento de pontos não rígidos e síntese feed-forward de novas visualizações. O código e os modelos estão disponíveis publicamente em https://github.com/facebookresearch/vggt.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.