AutoRecon: Descubrimiento y Reconstrucción Automatizada de Objetos 3D

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Autores: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Resumen

Una canalización completamente automatizada para la reconstrucción de objetos es crucial para la creación de contenido digital. Si bien el área de reconstrucción 3D ha experimentado avances significativos, la eliminación del fondo para obtener un modelo limpio del objeto aún depende de diversas formas de trabajo manual, como la etiquetación de cuadros delimitadores, anotaciones de máscaras y manipulaciones de mallas. En este artículo, proponemos un marco novedoso denominado AutoRecon para el descubrimiento y reconstrucción automatizados de un objeto a partir de imágenes de múltiples vistas. Demostramos que los objetos en primer plano pueden localizarse y segmentarse de manera robusta a partir de nubes de puntos SfM mediante el aprovechamiento de características autosupervisadas de transformadores de visión 2D. Luego, reconstruimos representaciones neuronales de escenas descompuestas con supervisión densa proporcionada por las nubes de puntos descompuestas, lo que resulta en una reconstrucción y segmentación precisa del objeto. Los experimentos en los conjuntos de datos DTU, BlendedMVS y CO3D-V2 demuestran la eficacia y robustez de AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.