NAVI : Collections d'images agnostiques à la catégorie avec annotations de formes 3D et de poses de haute qualité
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
Auteurs: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
Résumé
Les récents progrès en reconstruction neuronale permettent une reconstruction 3D de haute qualité à partir de collections d'images capturées de manière informelle. Les techniques actuelles analysent principalement leurs avancées sur des collections d'images relativement simples, où les techniques de Structure-from-Motion (SfM) peuvent fournir des poses de caméra de référence (ground-truth, GT). Nous remarquons que les techniques SfM ont tendance à échouer sur des collections d'images "in-the-wild", telles que les résultats de recherche d'images avec des arrière-plans et des éclairages variés. Pour permettre des progrès systématiques dans la recherche sur la reconstruction 3D à partir de captures d'images informelles, nous proposons NAVI : un nouveau jeu de données de collections d'images agnostiques en termes de catégorie, accompagnées de scans 3D de haute qualité et d'alignements 2D-3D par image fournissant des paramètres de caméra GT quasi parfaits. Ces alignements 2D-3D nous permettent d'extrader des annotations dérivées précises, telles que des correspondances denses de pixels, des cartes de profondeur et des cartes de segmentation. Nous démontrons l'utilisation des collections d'images NAVI dans différents contextes problématiques et montrons que NAVI permet des évaluations plus approfondies qui n'étaient pas possibles avec les jeux de données existants. Nous croyons que NAVI est bénéfique pour les progrès systématiques de la recherche en reconstruction 3D et en estimation de correspondances. Page du projet : https://navidataset.github.io
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io