PartGen: Generierung und Rekonstruktion von 3D-Teilen auf Teilebene mit Multi-View Diffusionsmodellen

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Autoren: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Zusammenfassung

Text- oder Bild-zu-3D-Generatoren und 3D-Scanner können nun 3D-Assets mit hochwertigen Formen und Texturen erzeugen. Diese Assets bestehen in der Regel aus einer einzigen, verschmolzenen Darstellung, wie einem impliziten neuronalen Feld, einer Gauß'schen Mischung oder einem Netz, ohne jegliche nützliche Struktur. Die meisten Anwendungen und kreativen Workflows erfordern jedoch, dass Assets aus mehreren sinnvollen Teilen bestehen, die unabhängig voneinander manipuliert werden können. Um diese Lücke zu schließen, stellen wir PartGen vor, einen neuartigen Ansatz, der 3D-Objekte aus sinnvollen Teilen generiert, die von Text, einem Bild oder einem unstrukturierten 3D-Objekt ausgehen. Zunächst extrahiert ein Multi-View-Diffusionsmodell anhand mehrerer Ansichten eines 3D-Objekts, die generiert oder gerendert wurden, eine Reihe plausibler und ansichtskonsistenter Teilsegmentierungen, die das Objekt in Teile unterteilen. Anschließend nimmt ein zweites Multi-View-Diffusionsmodell jeden Teil separat, füllt die Okklusionen aus und verwendet diese vervollständigten Ansichten für die 3D-Rekonstruktion, indem sie sie einem 3D-Rekonstruktionsnetzwerk zuführt. Dieser Vervollständigungsprozess berücksichtigt den Kontext des gesamten Objekts, um sicherzustellen, dass die Teile nahtlos integriert werden. Das generative Vervollständigungsmodell kann die aufgrund von Okklusionen fehlenden Informationen ausgleichen; in extremen Fällen kann es vollständig unsichtbare Teile basierend auf dem Eingabe-3D-Asset halluzinieren. Wir evaluieren unsere Methode an generierten und realen 3D-Assets und zeigen, dass sie Segmentierungs- und Teil-Extraktions-Baselines bei weitem übertrifft. Wir präsentieren auch nachgelagerte Anwendungen wie die 3D-Teilbearbeitung.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.