VGGT: Visuele Geometrie Gebaseerde Transformer

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Auteurs: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Samenvatting

We presenteren VGGT, een feedforward neuraal netwerk dat direct alle belangrijke 3D-attributen van een scène afleidt, inclusief cameraparameters, puntkaarten, dieptekaarten en 3D-punttrajecten, vanuit één, enkele of honderden van zijn aanzichten. Deze aanpak is een stap voorwaarts in 3D-computervisie, waar modellen traditioneel beperkt en gespecialiseerd waren voor individuele taken. Het is ook eenvoudig en efficiënt, waarbij beelden in minder dan één seconde worden gereconstrueerd, en het presteert nog steeds beter dan alternatieven die nabewerking met visuele geometrie-optimalisatietechnieken vereisen. Het netwerk behaalt state-of-the-art resultaten in meerdere 3D-taken, waaronder cameraparameterschatting, multi-view diepteschatting, dichte puntenwolkreconstructie en 3D-punttracking. We laten ook zien dat het gebruik van voorgetrainde VGGT als feature-backbone downstream taken aanzienlijk verbetert, zoals niet-rigide punttracking en feedforward synthese van nieuwe aanzichten. Code en modellen zijn publiekelijk beschikbaar op https://github.com/facebookresearch/vggt.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.