AutoRecon: 자동화된 3D 객체 탐지 및 재구성

초록

완전 자동화된 객체 재구성 파이프라인은 디지털 콘텐츠 제작에 있어 매우 중요합니다. 3D 재구성 분야는 큰 발전을 이루었지만, 깔끔한 객체 모델을 얻기 위한 배경 제거 작업은 여전히 바운딩 박스 라벨링, 마스크 주석, 메시 조작 등 다양한 형태의 수작업에 의존하고 있습니다. 본 논문에서는 다중 뷰 이미지로부터 객체를 자동으로 탐지하고 재구성하기 위한 새로운 프레임워크인 AutoRecon을 제안합니다. 우리는 자기 지도 학습(self-supervised) 2D 비전 트랜스포머(ViT) 특징을 활용하여 SfM 포인트 클라우드에서 전경 객체를 강력하게 위치 파악 및 분할할 수 있음을 보여줍니다. 이후, 분해된 포인트 클라우드가 제공하는 조밀한 감독(dense supervision)을 통해 분해된 신경 장면 표현(neural scene representations)을 재구성함으로써 정확한 객체 재구성 및 분할을 달성합니다. DTU, BlendedMVS 및 CO3D-V2 데이터셋에서의 실험을 통해 AutoRecon의 효과성과 견고성을 입증하였습니다.

English

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.

AutoRecon: 자동화된 3D 객체 탐지 및 재구성

AutoRecon: Automated 3D Object Discovery and Reconstruction

초록

Support