AutoRecon: Descoberta e Reconstrução Automatizada de Objetos 3D

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Autores: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Resumo

Um pipeline totalmente automatizado para reconstrução de objetos é crucial para a criação de conteúdo digital. Embora a área de reconstrução 3D tenha testemunhado avanços significativos, a remoção do fundo para obter um modelo limpo do objeto ainda depende de diferentes formas de trabalho manual, como a rotulagem de caixas delimitadoras, anotações de máscaras e manipulações de malhas. Neste artigo, propomos uma nova estrutura chamada AutoRecon para a descoberta e reconstrução automatizada de um objeto a partir de imagens de múltiplas vistas. Demonstramos que objetos em primeiro plano podem ser localizados e segmentados de forma robusta a partir de nuvens de pontos SfM, aproveitando recursos auto-supervisionados de transformadores de visão 2D. Em seguida, reconstruímos representações de cena neural decompostas com supervisão densa fornecida pelas nuvens de pontos decompostas, resultando em reconstrução e segmentação precisas do objeto. Experimentos nos conjuntos de dados DTU, BlendedMVS e CO3D-V2 demonstram a eficácia e robustez do AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.