AutoRecon: 自動化された3Dオブジェクトの発見と再構築

AutoRecon: Automated 3D Object Discovery and Reconstruction

May 15, 2023

著者: Yuang Wang, Xingyi He, Sida Peng, Haotong Lin, Hujun Bao, Xiaowei Zhou

cs.AI

要旨

完全自動化されたオブジェクト再構築パイプラインは、デジタルコンテンツ作成において極めて重要です。3D再構築の分野では大きな進展が見られていますが、クリーンなオブジェクトモデルを得るための背景除去は、バウンディングボックスのラベリング、マスクアノテーション、メッシュ操作など、依然として様々な形での手作業に依存しています。本論文では、マルチビュー画像からのオブジェクトの自動発見と再構築を行うための新しいフレームワーク「AutoRecon」を提案します。自己教師あり2D Vision Transformerの特徴を活用することで、SfM点群から前景オブジェクトをロバストに位置特定し、セグメント化できることを実証します。その後、分解された点群によって提供される密な監督を用いて分解されたニューラルシーン表現を再構築し、正確なオブジェクト再構築とセグメンテーションを実現します。DTU、BlendedMVS、CO3D-V2データセットでの実験により、AutoReconの有効性とロバスト性が示されています。

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.