Ein Objekt ist 64x64 Pixel wert: Generierung von 3D-Objekten über Bild-Diffusion

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Autoren: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Zusammenfassung

Wir stellen einen neuen Ansatz zur Generierung realistischer 3D-Modelle mit UV-Maps vor, der durch eine Darstellung namens "Objektbilder" realisiert wird. Dieser Ansatz umfasst Oberflächengeometrie, Erscheinungsbild und Patch-Strukturen innerhalb eines 64x64 Pixelbildes und wandelt komplexe 3D-Formen effektiv in ein handlicheres 2D-Format um. Dadurch werden die Herausforderungen sowohl geometrischer als auch semantischer Unregelmäßigkeiten, die in polygonalen Netzen inhärent sind, bewältigt. Diese Methode ermöglicht es uns, Bildgenerierungsmodelle wie Diffusion Transformers direkt für die Generierung von 3D-Formen zu verwenden. Anhand des ABO-Datensatzes erzielen unsere generierten Formen mit Patch-Strukturen eine Punktwolken-FID, die mit aktuellen 3D-generativen Modellen vergleichbar ist, und unterstützen gleichzeitig die natürliche Generierung von PBR-Material.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.