Un oggetto vale 64x64 pixel: generazione di oggetti 3D tramite diffusione di immagini

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Autori: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Abstract

Introduciamo un nuovo approccio per generare modelli 3D realistici con mappe UV attraverso una rappresentazione denominata "Immagini Oggetto". Questo approccio racchiude la geometria della superficie, l'aspetto e le strutture delle patch all'interno di un'immagine di 64x64 pixel, convertendo efficacemente forme 3D complesse in un formato 2D più gestibile. In questo modo, affrontiamo le sfide dell'irregolarità sia geometrica che semantica intrinseca nelle mesh poligonali. Questo metodo ci consente di utilizzare direttamente modelli di generazione di immagini, come i Diffusion Transformer, per la generazione di forme 3D. Valutato sul dataset ABO, le nostre forme generate con strutture di patch raggiungono un FID della nuvola di punti comparabile ai recenti modelli generativi 3D, supportando naturalmente la generazione di materiali PBR.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.