PartGen : Génération et Reconstruction 3D au niveau des parties avec des Modèles de Diffusion Multi-Vues

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Auteurs: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Résumé

Les générateurs de 3D à partir de texte ou d'image et les scanners 3D peuvent désormais produire des ressources 3D avec des formes et des textures de haute qualité. Ces ressources se composent généralement d'une représentation unique fusionnée, comme un champ neuronal implicite, un mélange gaussien ou un maillage, sans aucune structure utile. Cependant, la plupart des applications et des flux de travail créatifs nécessitent que les ressources soient constituées de plusieurs parties significatives pouvant être manipulées indépendamment. Pour combler cette lacune, nous introduisons PartGen, une nouvelle approche qui génère des objets 3D composés de parties significatives à partir de texte, d'une image ou d'un objet 3D non structuré. Tout d'abord, en utilisant plusieurs vues d'un objet 3D, générées ou rendues, un modèle de diffusion multi-vues extrait un ensemble de segmentations de parties plausibles et cohérentes avec les vues, divisant ainsi l'objet en parties. Ensuite, un deuxième modèle de diffusion multi-vues prend chaque partie séparément, comble les occlusions et utilise ces vues complétées pour la reconstruction 3D en les alimentant à un réseau de reconstruction 3D. Ce processus de complétion prend en compte le contexte de l'objet entier pour garantir l'intégration cohésive des parties. Le modèle de complétion génératif peut compenser les informations manquantes dues aux occlusions ; dans les cas extrêmes, il peut même halluciner des parties entièrement invisibles basées sur la ressource 3D en entrée. Nous évaluons notre méthode sur des ressources 3D générées et réelles et montrons qu'elle surpasse largement les références en matière de segmentation et d'extraction de parties. Nous présentons également des applications en aval telles que l'édition de parties 3D.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.