NAVI: Categorie-onafhankelijke beeldverzamelingen met hoogwaardige 3D-vorm- en pose-annotaties
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
Auteurs: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
Samenvatting
Recente vooruitgang in neurale reconstructie maakt hoogwaardige 3D-objectreconstructie mogelijk vanuit toevallig vastgelegde beeldcollecties. Huidige technieken analyseren hun voortgang voornamelijk op relatief eenvoudige beeldcollecties waar Structure-from-Motion (SfM)-technieken grondwaarheid (GT) cameraposities kunnen bieden. We merken op dat SfM-technieken vaak falen bij beeldcollecties uit de praktijk, zoals zoekresultaten van afbeeldingen met variërende achtergronden en belichtingen. Om systematische onderzoeksvooruitgang mogelijk te maken op het gebied van 3D-reconstructie vanuit toevallige beeldopnames, stellen we NAVI voor: een nieuwe dataset van categorie-agnostische beeldcollecties van objecten met hoogwaardige 3D-scans, samen met per afbeelding 2D-3D-uitlijningen die bijna perfecte GT-cameraparameters bieden. Deze 2D-3D-uitlijningen stellen ons in staat om nauwkeurige afgeleide annotaties te extraheren, zoals dichte pixelcorrespondenties, diepte- en segmentatiekaarten. We demonstreren het gebruik van NAVI-beeldcollecties in verschillende probleemstellingen en laten zien dat NAVI grondigere evaluaties mogelijk maakt die niet mogelijk waren met bestaande datasets. We geloven dat NAVI gunstig is voor systematische onderzoeksvooruitgang op het gebied van 3D-reconstructie en correspondentieschatting. Projectpagina: https://navidataset.github.io
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io