VGGT : Transformer à Base de Géométrie Visuelle

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Auteurs: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Résumé

Nous présentons VGGT, un réseau de neurones à propagation directe qui infère directement tous les attributs 3D clés d'une scène, y compris les paramètres de la caméra, les cartes de points, les cartes de profondeur et les trajectoires de points 3D, à partir d'une, de quelques-unes ou de centaines de ses vues. Cette approche représente une avancée dans le domaine de la vision par ordinateur 3D, où les modèles étaient généralement limités et spécialisés pour des tâches uniques. Elle est également simple et efficace, reconstruisant les images en moins d'une seconde, tout en surpassant les alternatives nécessitant un post-traitement avec des techniques d'optimisation de géométrie visuelle. Le réseau atteint des résultats de pointe dans plusieurs tâches 3D, notamment l'estimation des paramètres de la caméra, l'estimation de la profondeur multi-vues, la reconstruction de nuages de points denses et le suivi de points 3D. Nous montrons également que l'utilisation de VGGT pré-entraîné comme colonne vertébrale de caractéristiques améliore significativement les tâches en aval, telles que le suivi de points non rigides et la synthèse de nouvelles vues par propagation directe. Le code et les modèles sont disponibles publiquement à l'adresse https://github.com/facebookresearch/vggt.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.