NAVI: Kategorieunabhängige Bildsammlungen mit hochwertigen 3D-Form- und Pose-Annotationen
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
Autoren: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
Zusammenfassung
Jüngste Fortschritte in der neuronalen Rekonstruktion ermöglichen eine hochwertige 3D-Objektrekonstruktion aus beiläufig aufgenommenen Bildersammlungen. Aktuelle Techniken analysieren ihren Fortschritt meist anhand relativ einfacher Bildersammlungen, bei denen Structure-from-Motion (SfM)-Techniken Ground-Truth (GT)-Kameraposen liefern können. Wir stellen fest, dass SfM-Techniken bei Bildersammlungen „in the wild“, wie z. B. Bildsuchergebnissen mit variierenden Hintergründen und Beleuchtungen, oft versagen. Um systematische Forschungsfortschritte bei der 3D-Rekonstruktion aus beiläufigen Bildaufnahmen zu ermöglichen, schlagen wir NAVI vor: einen neuen Datensatz kategorieagnostischer Bildersammlungen von Objekten mit hochwertigen 3D-Scans sowie per Bild 2D-3D-Ausrichtungen, die nahezu perfekte GT-Kameraparameter liefern. Diese 2D-3D-Ausrichtungen ermöglichen es uns, präzise abgeleitete Annotationen wie dichte Pixelkorrespondenzen, Tiefen- und Segmentierungskarten zu extrahieren. Wir demonstrieren die Verwendung von NAVI-Bildersammlungen in verschiedenen Problemstellungen und zeigen, dass NAVI umfassendere Bewertungen ermöglicht, die mit bestehenden Datensätzen nicht möglich waren. Wir glauben, dass NAVI für systematische Forschungsfortschritte in der 3D-Rekonstruktion und Korrespondenzschätzung von Vorteil ist. Projektseite: https://navidataset.github.io
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io