Um Objeto Vale 64x64 Pixels: Gerando Objeto 3D via Difusão de Imagem

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Autores: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Resumo

Apresentamos uma nova abordagem para gerar modelos 3D realistas com mapas UV por meio de uma representação denominada "Imagens de Objetos". Essa abordagem encapsula a geometria da superfície, a aparência e as estruturas de remendo dentro de uma imagem de 64x64 pixels, convertendo efetivamente formas 3D complexas em um formato 2D mais gerenciável. Ao fazer isso, abordamos os desafios da irregularidade geométrica e semântica inerentes em malhas poligonais. Este método nos permite usar modelos de geração de imagens, como Transformadores de Difusão, diretamente para a geração de formas 3D. Avaliadas no conjunto de dados ABO, nossas formas geradas com estruturas de remendo alcançam um FID de nuvem de pontos comparável aos modelos generativos 3D recentes, enquanto suportam naturalmente a geração de material PBR.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.