AutoRecon : Découverte et Reconstruction Automatisées d'Objets 3D

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Auteurs: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Résumé

Un pipeline entièrement automatisé de reconstruction d'objets est essentiel pour la création de contenu numérique. Bien que le domaine de la reconstruction 3D ait connu des avancées significatives, l'élimination de l'arrière-plan pour obtenir un modèle d'objet propre repose encore sur différentes formes de travail manuel, telles que l'étiquetage de boîtes englobantes, les annotations de masques et les manipulations de maillages. Dans cet article, nous proposons un nouveau cadre nommé AutoRecon pour la découverte et la reconstruction automatisées d'un objet à partir d'images multi-vues. Nous démontrons que les objets au premier plan peuvent être localisés et segmentés de manière robuste à partir de nuages de points SfM en exploitant les caractéristiques auto-supervisées de transformateurs de vision 2D. Ensuite, nous reconstruisons des représentations de scène neuronales décomposées avec une supervision dense fournie par les nuages de points décomposés, aboutissant à une reconstruction et une segmentation précises de l'objet. Les expériences sur les ensembles de données DTU, BlendedMVS et CO3D-V2 démontrent l'efficacité et la robustesse d'AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.