AutoRecon: Scoperta e Ricostruzione Automatica di Oggetti 3D

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Autori: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Abstract

Una pipeline completamente automatizzata per la ricostruzione di oggetti è fondamentale per la creazione di contenuti digitali. Sebbene il campo della ricostruzione 3D abbia assistito a sviluppi significativi, la rimozione dello sfondo per ottenere un modello pulito dell'oggetto si basa ancora su diverse forme di lavoro manuale, come l'etichettatura di bounding box, annotazioni di maschere e manipolazioni di mesh. In questo articolo, proponiamo un nuovo framework denominato AutoRecon per la scoperta e la ricostruzione automatizzata di un oggetto a partire da immagini multi-vista. Dimostriamo che gli oggetti in primo piano possono essere localizzati e segmentati in modo robusto dalle nuvole di punti SfM sfruttando le caratteristiche auto-supervisionate di un vision transformer 2D. Successivamente, ricostruiamo rappresentazioni neurali della scena scomponendole con una supervisione densa fornita dalle nuvole di punti scomposte, ottenendo una ricostruzione e segmentazione accurata dell'oggetto. Gli esperimenti condotti sui dataset DTU, BlendedMVS e CO3D-V2 dimostrano l'efficacia e la robustezza di AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.