Part123: 단일 뷰 이미지에서 파트 인식 3D 재구성

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

저자: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

초록

최근 디퓨전 모델의 등장으로 단일 뷰 재구성에 새로운 가능성이 열렸습니다. 그러나 기존의 모든 방법들은 대상 물체를 구조적 정보가 없는 닫힌 메쉬로 표현함으로써, 재구성된 형태의 부품 기반 구조를 간과했습니다. 이는 많은 다운스트림 애플리케이션에 있어서 중요한 요소입니다. 또한 생성된 메쉬들은 대체로 큰 노이즈, 불균일한 표면, 흐릿한 텍스처 등의 문제를 겪어 3D 세그멘테이션 기술을 사용하여 만족스러운 부품 분할을 얻는 것이 어려웠습니다. 본 논문에서는 단일 뷰 이미지로부터 부품 인식 3D 재구성을 위한 새로운 프레임워크인 Part123을 제안합니다. 먼저 디퓨전 모델을 사용하여 주어진 이미지로부터 다중 뷰 일관성 이미지를 생성하고, 임의의 객체에 대해 강력한 일반화 능력을 보여주는 Segment Anything Model(SAM)을 활용하여 다중 뷰 세그멘테이션 마스크를 생성합니다. 2D 부품 기반 정보를 3D 재구성에 효과적으로 통합하고 불일치를 처리하기 위해, 우리는 다중 뷰 세그멘테이션 마스크를 기반으로 부품 인식 특징 공간을 학습하기 위해 신경 렌더링 프레임워크에 대조 학습을 도입했습니다. 또한 클러스터링 기반 알고리즘을 개발하여 재구성된 모델로부터 3D 부품 세그멘테이션 결과를 자동으로 도출합니다. 실험 결과, 우리의 방법은 다양한 객체에 대해 고품질의 분할된 부품을 가진 3D 모델을 생성할 수 있음을 보여줍니다. 기존의 비구조적 재구성 방법과 비교하여, 우리의 방법으로 생성된 부품 인식 3D 모델은 특징 보존 재구성, 기본 도형 피팅, 3D 형태 편집 등 중요한 애플리케이션에 유용합니다.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.