Объект стоит 64x64 пикселя: Генерация 3D объекта через диффузию изображения

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

Авторы: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

Аннотация

Мы представляем новый подход к созданию реалистичных 3D моделей с UV-отображениями через представление, названное "Объектные изображения". Этот подход включает геометрию поверхности, внешний вид и структуры патчей в изображение размером 64x64 пикселя, эффективно преобразуя сложные 3D формы в более управляемый 2D формат. Таким образом, мы решаем проблемы как геометрической, так и семантической нерегулярности, присущей полигональным сеткам. Этот метод позволяет использовать модели генерации изображений, такие как Диффузионные трансформеры, напрямую для генерации 3D форм. Оцененные на наборе данных ABO, наши созданные формы со структурами патчей достигают FID облака точек, сравнимого с недавними 3D генеративными моделями, естественно поддерживая генерацию материалов PBR.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.