AutoRecon: Автоматизированное обнаружение и реконструкция 3D-объектов

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

Авторы: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

Аннотация

Полностью автоматизированный конвейер реконструкции объектов имеет ключевое значение для создания цифрового контента. Хотя область 3D-реконструкции претерпела значительные изменения, удаление фона для получения чистой модели объекта по-прежнему требует различных форм ручного труда, таких как разметка ограничивающих рамок, аннотирование масок и манипуляции с сетками. В данной статье мы предлагаем новую структуру под названием AutoRecon для автоматического обнаружения и реконструкции объекта из многовидовых изображений. Мы демонстрируем, что объекты переднего плана могут быть надежно локализованы и сегментированы из облаков точек SfM с использованием самоконтролируемых признаков 2D Vision Transformer. Затем мы реконструируем декомпозированные нейронные представления сцен с плотным контролем, обеспечиваемым декомпозированными облаками точек, что приводит к точной реконструкции и сегментации объекта. Эксперименты на наборах данных DTU, BlendedMVS и CO3D-V2 демонстрируют эффективность и надежность AutoRecon.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.