NAVI: Colecciones de Imágenes Independientes de Categoría con Anotaciones de Forma 3D y Pose de Alta Calidad
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
Autores: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
Resumen
Los recientes avances en reconstrucción neuronal permiten la reconstrucción de objetos 3D de alta calidad a partir de colecciones de imágenes capturadas de manera casual. Las técnicas actuales analizan principalmente su progreso en colecciones de imágenes relativamente simples, donde las técnicas de Estructura a partir del Movimiento (SfM) pueden proporcionar poses de cámara de referencia (ground-truth, GT). Observamos que las técnicas SfM tienden a fallar en colecciones de imágenes del mundo real, como resultados de búsqueda de imágenes con fondos e iluminaciones variables. Para permitir un progreso sistemático en la investigación sobre la reconstrucción 3D a partir de capturas de imágenes casuales, proponemos NAVI: un nuevo conjunto de datos de colecciones de imágenes agnósticas a categorías de objetos, con escaneos 3D de alta calidad junto con alineaciones 2D-3D por imagen que proporcionan parámetros de cámara GT casi perfectos. Estas alineaciones 2D-3D nos permiten extraer anotaciones derivadas precisas, como correspondencias densas de píxeles, mapas de profundidad y segmentación. Demostramos el uso de las colecciones de imágenes de NAVI en diferentes configuraciones de problemas y mostramos que NAVI permite evaluaciones más exhaustivas que no eran posibles con conjuntos de datos existentes. Creemos que NAVI es beneficioso para el progreso sistemático de la investigación en reconstrucción 3D y estimación de correspondencias. Página del proyecto: https://navidataset.github.io.
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io