AutoRecon: Geautomatiseerde 3D-objectdetectie en -reconstructie

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Auteurs: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Samenvatting

Een volledig geautomatiseerde pijplijn voor objectreconstructie is cruciaal voor het creëren van digitale inhoud. Hoewel het gebied van 3D-reconstructie aanzienlijke ontwikkelingen heeft doorgemaakt, is het verwijderen van de achtergrond om een schoon objectmodel te verkrijgen nog steeds afhankelijk van verschillende vormen van handmatige arbeid, zoals het labelen van begrenzingsvakken, maskerannotaties en mesh-manipulaties. In dit artikel stellen we een nieuw framework voor, genaamd AutoRecon, voor de geautomatiseerde detectie en reconstructie van een object uit multi-view afbeeldingen. We tonen aan dat voorgrondobjecten robuust kunnen worden gelokaliseerd en gesegmenteerd uit SfM-puntenwolken door gebruik te maken van zelfgesuperviseerde 2D vision transformer kenmerken. Vervolgens reconstrueren we gedecentraliseerde neurale scène-representaties met dichte supervisie die wordt geboden door de gedecentraliseerde puntenwolken, wat resulteert in nauwkeurige objectreconstructie en segmentatie. Experimenten op de DTU-, BlendedMVS- en CO3D-V2-datasets demonstreren de effectiviteit en robuustheid van AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.