Part123 : Reconstruction 3D consciente des parties à partir d'une image monoculaire

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

Auteurs: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

Résumé

Récemment, l'émergence des modèles de diffusion a ouvert de nouvelles perspectives pour la reconstruction à partir d'une seule vue. Cependant, toutes les méthodes existantes représentent l'objet cible sous forme d'un maillage fermé dépourvu de toute information structurelle, négligeant ainsi la structure basée sur les parties, pourtant cruciale pour de nombreuses applications en aval de la forme reconstruite. De plus, les maillages générés souffrent généralement de bruits importants, de surfaces irrégulières et de textures floues, rendant difficile l'obtention de segments de parties satisfaisants à l'aide de techniques de segmentation 3D. Dans cet article, nous présentons Part123, un nouveau cadre pour la reconstruction 3D consciente des parties à partir d'une image à vue unique. Nous utilisons d'abord des modèles de diffusion pour générer des images cohérentes en multivues à partir d'une image donnée, puis nous exploitons le Segment Anything Model (SAM), qui démontre une puissante capacité de généralisation sur des objets arbitraires, pour générer des masques de segmentation en multivues. Pour intégrer efficacement les informations basées sur les parties 2D dans la reconstruction 3D et gérer les incohérences, nous introduisons l'apprentissage contrastif dans un cadre de rendu neuronal pour apprendre un espace de caractéristiques conscient des parties basé sur les masques de segmentation en multivues. Un algorithme basé sur le clustering est également développé pour dériver automatiquement les résultats de segmentation 3D des parties à partir des modèles reconstruits. Les expériences montrent que notre méthode peut générer des modèles 3D avec des parties segmentées de haute qualité sur divers objets. Par rapport aux méthodes de reconstruction non structurées existantes, les modèles 3D conscients des parties de notre méthode profitent à certaines applications importantes, notamment la reconstruction préservant les caractéristiques, l'ajustement de primitives et l'édition de formes 3D.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.