NAVI: Collezioni di Immagini Indipendenti dalla Categoria con Annotazioni di Alta Qualità per Forma 3D e Posa

NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations

June 15, 2023

Autori: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou

cs.AI

Abstract

I recenti progressi nella ricostruzione neurale consentono una ricostruzione 3D di alta qualità a partire da raccolte di immagini acquisite in modo casuale. Le tecniche attuali valutano principalmente i loro progressi su raccolte di immagini relativamente semplici, dove le tecniche di Structure-from-Motion (SfM) possono fornire pose della camera di riferimento (ground-truth, GT). Tuttavia, notiamo che le tecniche SfM tendono a fallire su raccolte di immagini "in-the-wild", come i risultati di ricerca di immagini con sfondi e illuminazioni variabili. Per favorire un progresso sistematico nella ricerca sulla ricostruzione 3D da acquisizioni casuali di immagini, proponiamo NAVI: un nuovo dataset di raccolte di immagini agnostiche rispetto alla categoria, contenenti oggetti con scansioni 3D di alta qualità e allineamenti 2D-3D per immagine che forniscono parametri della camera GT quasi perfetti. Questi allineamenti 2D-3D ci permettono di estrarre annotazioni derivate accurate, come corrispondenze dense tra pixel, mappe di profondità e mappe di segmentazione. Dimostriamo l'utilizzo delle raccolte di immagini NAVI in diversi contesti problematici e mostriamo che NAVI consente valutazioni più approfondite che non erano possibili con i dataset esistenti. Riteniamo che NAVI sia vantaggioso per un progresso sistematico nella ricerca sulla ricostruzione 3D e sulla stima delle corrispondenze. Pagina del progetto: https://navidataset.github.io

English

Recent advances in neural reconstruction enable high-quality 3D object reconstruction from casually captured image collections. Current techniques mostly analyze their progress on relatively simple image collections where Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera poses. We note that SfM techniques tend to fail on in-the-wild image collections such as image search results with varying backgrounds and illuminations. To enable systematic research progress on 3D reconstruction from casual image captures, we propose NAVI: a new dataset of category-agnostic image collections of objects with high-quality 3D scans along with per-image 2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D alignments allow us to extract accurate derivative annotations such as dense pixel correspondences, depth and segmentation maps. We demonstrate the use of NAVI image collections on different problem settings and show that NAVI enables more thorough evaluations that were not possible with existing datasets. We believe NAVI is beneficial for systematic research progress on 3D reconstruction and correspondence estimation. Project page: https://navidataset.github.io