PartGen: Generatie en reconstructie van 3D op onderdeelniveau met multi-view diffusiemodellen

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Auteurs: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Samenvatting

Text- of afbeelding-naar-3D generatoren en 3D scanners kunnen nu 3D assets produceren met vormen en texturen van hoge kwaliteit. Deze assets bestaan doorgaans uit een enkele, samengevoegde representatie, zoals een impliciet neuraal veld, een Gaussische mengvorm, of een mesh, zonder enige bruikbare structuur. Echter, de meeste toepassingen en creatieve workflows vereisen dat assets bestaan uit verschillende betekenisvolle delen die onafhankelijk kunnen worden gemanipuleerd. Om deze kloof te overbruggen, introduceren we PartGen, een nieuw benadering die 3D objecten genereert bestaande uit betekenisvolle delen, beginnend vanuit tekst, een afbeelding, of een ongestructureerd 3D object. Allereerst, gegeven meerdere aanzichten van een 3D object, gegenereerd of gerenderd, extraheren een multi-view diffusie model een reeks plausibele en aanzicht-consistente deelsegmentaties, waarbij het object wordt verdeeld in delen. Vervolgens neemt een tweede multi-view diffusie model elk deel afzonderlijk, vult de occlusies in, en gebruikt die voltooide aanzichten voor 3D reconstructie door ze toe te voeren aan een 3D reconstructie netwerk. Dit voltooiingsproces houdt rekening met de context van het gehele object om ervoor te zorgen dat de delen samenhangend integreren. Het generatieve voltooiingsmodel kan de ontbrekende informatie door occlusies compenseren; in extreme gevallen kan het zelfs volledig onzichtbare delen hallucineren op basis van de input 3D asset. We evalueren onze methode op gegenereerde en echte 3D assets en tonen aan dat het aanzienlijk beter presteert dan segmentatie- en deel-extractie baselines. We laten ook downstream toepassingen zien zoals 3D deelbewerking.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.