AutoRecon: Automatisierte 3D-Objekterkennung und -Rekonstruktion

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Autoren: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Zusammenfassung

Eine vollständig automatisierte Pipeline zur Objektrekonstruktion ist entscheidend für die Erstellung digitaler Inhalte. Während das Gebiet der 3D-Rekonstruktion tiefgreifende Entwicklungen erlebt hat, stützt sich die Entfernung des Hintergrunds, um ein sauberes Objektmodell zu erhalten, immer noch auf verschiedene Formen manueller Arbeit, wie die Kennzeichnung von Begrenzungsrahmen, Maskenanmerkungen und Netzmanipulationen. In diesem Artikel schlagen wir ein neuartiges Framework namens AutoRecon für die automatisierte Entdeckung und Rekonstruktion eines Objekts aus Multi-View-Bildern vor. Wir zeigen, dass Vordergrundobjekte robust lokalisiert und aus SfM-Punktwolken segmentiert werden können, indem selbstüberwachte 2D-Vision-Transformer-Features genutzt werden. Anschließend rekonstruieren wir zerlegte neuronale Szenendarstellungen mit dichter Überwachung, die durch die zerlegten Punktwolken bereitgestellt wird, was zu einer präzisen Objektrekonstruktion und -segmentierung führt. Experimente auf den Datensätzen DTU, BlendedMVS und CO3D-V2 demonstrieren die Wirksamkeit und Robustheit von AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.