3DTopia-XL: Escalando la Generación de Activos 3D de Alta Calidad a través de la Difusión de Primitivas

3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

September 19, 2024

Autores: Zhaoxi Chen, Jiaxiang Tang, Yuhao Dong, Ziang Cao, Fangzhou Hong, Yushi Lan, Tengfei Wang, Haozhe Xie, Tong Wu, Shunsuke Saito, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Resumen

La creciente demanda de activos 3D de alta calidad en diversas industrias necesita una creación de contenido 3D eficiente y automatizada. A pesar de los avances recientes en modelos generativos 3D, los métodos existentes aún enfrentan desafíos con la velocidad de optimización, la fidelidad geométrica y la falta de activos para renderizado basado en física (PBR). En este documento, presentamos 3DTopia-XL, un modelo generativo 3D nativo escalable diseñado para superar estas limitaciones. 3DTopia-XL aprovecha una representación 3D basada en primitivas novedosa, PrimX, que codifica la forma detallada, el albedo y el campo de material en un formato tensorial compacto, facilitando la modelización de geometría de alta resolución con activos PBR. Sobre la representación novedosa, proponemos un marco generativo basado en el Transformador de Difusión (DiT), que comprende 1) Compresión de Parches Primitivos, y 2) Difusión de Primitivas Latentes. 3DTopia-XL aprende a generar activos 3D de alta calidad a partir de entradas textuales o visuales. Realizamos experimentos cualitativos y cuantitativos extensos para demostrar que 3DTopia-XL supera significativamente a los métodos existentes en la generación de activos 3D de alta calidad con texturas y materiales detallados, cerrando eficazmente la brecha de calidad entre los modelos generativos y las aplicaciones del mundo real.

English

The increasing demand for high-quality 3D assets across various industries necessitates efficient and automated 3D content creation. Despite recent advancements in 3D generative models, existing methods still face challenges with optimization speed, geometric fidelity, and the lack of assets for physically based rendering (PBR). In this paper, we introduce 3DTopia-XL, a scalable native 3D generative model designed to overcome these limitations. 3DTopia-XL leverages a novel primitive-based 3D representation, PrimX, which encodes detailed shape, albedo, and material field into a compact tensorial format, facilitating the modeling of high-resolution geometry with PBR assets. On top of the novel representation, we propose a generative framework based on Diffusion Transformer (DiT), which comprises 1) Primitive Patch Compression, 2) and Latent Primitive Diffusion. 3DTopia-XL learns to generate high-quality 3D assets from textual or visual inputs. We conduct extensive qualitative and quantitative experiments to demonstrate that 3DTopia-XL significantly outperforms existing methods in generating high-quality 3D assets with fine-grained textures and materials, efficiently bridging the quality gap between generative models and real-world applications.