Un objet vaut 64x64 pixels : Génération d'objets 3D via la diffusion d'images

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Auteurs: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Résumé

Nous présentons une nouvelle approche pour générer des modèles 3D réalistes avec des cartes UV à travers une représentation appelée "Object Images". Cette approche encapsule la géométrie de surface, l'apparence et les structures de patchs dans une image de 64x64 pixels, convertissant ainsi efficacement des formes 3D complexes en un format 2D plus facile à manipuler. Ce faisant, nous abordons les défis liés à l'irrégularité géométrique et sémantique inhérente aux maillages polygonaux. Cette méthode nous permet d'utiliser directement des modèles de génération d'images, tels que les Diffusion Transformers, pour la génération de formes 3D. Évaluée sur le jeu de données ABO, nos formes générées avec des structures de patchs atteignent un FID de nuage de points comparable aux modèles génératifs 3D récents, tout en supportant naturellement la génération de matériaux PBR.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.