PartGen: Generación y Reconstrucción 3D a Nivel de Partes con Modelos de Difusión Multi-Vista

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Autores: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Resumen

Los generadores de 3D a partir de texto o imagen y los escáneres 3D pueden ahora producir activos 3D con formas y texturas de alta calidad. Estos activos típicamente consisten en una representación única y fusionada, como un campo neural implícito, una mezcla gaussiana o una malla, sin ninguna estructura útil. Sin embargo, la mayoría de aplicaciones y flujos de trabajo creativos requieren que los activos estén compuestos por varias partes significativas que puedan ser manipuladas de forma independiente. Para abordar esta brecha, presentamos PartGen, un enfoque novedoso que genera objetos 3D compuestos por partes significativas a partir de texto, una imagen o un objeto 3D no estructurado. En primer lugar, dado múltiples vistas de un objeto 3D, generadas o renderizadas, un modelo de difusión multi-vista extrae un conjunto de segmentaciones de partes plausibles y consistentes con las vistas, dividiendo el objeto en partes. Luego, un segundo modelo de difusión multi-vista toma cada parte por separado, rellena las oclusiones y utiliza esas vistas completadas para la reconstrucción 3D alimentándolas a una red de reconstrucción 3D. Este proceso de completado considera el contexto de todo el objeto para asegurar que las partes se integren de manera cohesiva. El modelo generativo de completado puede compensar la información faltante debido a las oclusiones; en casos extremos, puede alucinar partes completamente invisibles basándose en el activo 3D de entrada. Evaluamos nuestro método en activos 3D generados y reales y mostramos que supera ampliamente a los baselines de segmentación y extracción de partes. También presentamos aplicaciones posteriores como la edición de partes 3D.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.