VGGT: Трансформер с визуально-геометрической основой

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Авторы: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Аннотация

Мы представляем VGGT, прямую нейронную сеть прямого распространения, которая напрямую выводит все ключевые 3D-атрибуты сцены, включая параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен её видов. Этот подход представляет собой шаг вперед в области 3D-компьютерного зрения, где модели традиционно ограничивались и специализировались на отдельных задачах. Он также прост и эффективен, восстанавливая изображения менее чем за одну секунду, при этом превосходя альтернативные методы, требующие постобработки с использованием техник оптимизации визуальной геометрии. Сеть достигает современных результатов в множестве 3D-задач, включая оценку параметров камеры, многовидовую оценку глубины, реконструкцию плотных облаков точек и 3D-трекинг точек. Мы также показываем, что использование предобученного VGGT в качестве основы для признаков значительно улучшает последующие задачи, такие как нежесткий трекинг точек и синтез новых видов с прямым распространением. Код и модели доступны публично по адресу https://github.com/facebookresearch/vggt.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.