NAVI: Coleções de Imagens Independentes de Categoria com Anotações de Forma 3D e Pose de Alta Qualidade
NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations
June 15, 2023
Autores: Varun Jampani, Kevis-Kokitsi Maninis, Andreas Engelhardt, Arjun Karpur, Karen Truong, Kyle Sargent, Stefan Popov, André Araujo, Ricardo Martin-Brualla, Kaushal Patel, Daniel Vlasic, Vittorio Ferrari, Ameesh Makadia, Ce Liu, Yuanzhen Li, Howard Zhou
cs.AI
Resumo
Os recentes avanços na reconstrução neural permitem a reconstrução de objetos 3D de alta qualidade a partir de coleções de imagens capturadas casualmente. As técnicas atuais analisam principalmente seu progresso em coleções de imagens relativamente simples, onde técnicas de Structure-from-Motion (SfM) podem fornecer poses de câmera de referência (ground-truth, GT). Observamos que as técnicas de SfM tendem a falhar em coleções de imagens capturadas em ambientes reais, como resultados de buscas de imagens com fundos e iluminações variados. Para permitir um progresso sistemático na pesquisa de reconstrução 3D a partir de capturas casuais de imagens, propomos o NAVI: um novo conjunto de dados de coleções de imagens agnósticas a categorias de objetos, com varreduras 3D de alta qualidade e alinhamentos 2D-3D por imagem que fornecem parâmetros de câmera GT quase perfeitos. Esses alinhamentos 2D-3D nos permitem extrair anotações derivadas precisas, como correspondências densas de pixels, mapas de profundidade e segmentação. Demonstramos o uso das coleções de imagens do NAVI em diferentes configurações de problemas e mostramos que o NAVI permite avaliações mais abrangentes que não eram possíveis com conjuntos de dados existentes. Acreditamos que o NAVI é benéfico para o progresso sistemático da pesquisa em reconstrução 3D e estimativa de correspondências. Página do projeto: https://navidataset.github.io
English
Recent advances in neural reconstruction enable high-quality 3D object
reconstruction from casually captured image collections. Current techniques
mostly analyze their progress on relatively simple image collections where
Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera
poses. We note that SfM techniques tend to fail on in-the-wild image
collections such as image search results with varying backgrounds and
illuminations. To enable systematic research progress on 3D reconstruction from
casual image captures, we propose NAVI: a new dataset of category-agnostic
image collections of objects with high-quality 3D scans along with per-image
2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D
alignments allow us to extract accurate derivative annotations such as dense
pixel correspondences, depth and segmentation maps. We demonstrate the use of
NAVI image collections on different problem settings and show that NAVI enables
more thorough evaluations that were not possible with existing datasets. We
believe NAVI is beneficial for systematic research progress on 3D
reconstruction and correspondence estimation. Project page:
https://navidataset.github.io