Un objeto vale 64x64 píxeles: Generando objetos 3D a través de la difusión de imágenes

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Autores: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Resumen

Introducimos un nuevo enfoque para generar modelos 3D realistas con mapas UV a través de una representación denominada "Imágenes de Objeto". Este enfoque encapsula la geometría de la superficie, la apariencia y las estructuras de parches dentro de una imagen de 64x64 píxeles, convirtiendo eficazmente formas 3D complejas en un formato 2D más manejable. Al hacerlo, abordamos los desafíos de la irregularidad geométrica y semántica inherentes en mallas poligonales. Este método nos permite utilizar modelos de generación de imágenes, como los Transformadores de Difusión, directamente para la generación de formas 3D. Evaluado en el conjunto de datos ABO, nuestras formas generadas con estructuras de parches logran un FID de nube de puntos comparable a los modelos generativos 3D recientes, al mismo tiempo que admiten de forma natural la generación de material PBR.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.