3DTopia-XL: Dimensionamento da Geração de Ativos 3D de Alta Qualidade por Difusão de Primitivas

3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

September 19, 2024

Autores: Zhaoxi Chen, Jiaxiang Tang, Yuhao Dong, Ziang Cao, Fangzhou Hong, Yushi Lan, Tengfei Wang, Haozhe Xie, Tong Wu, Shunsuke Saito, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Resumo

A crescente demanda por ativos 3D de alta qualidade em diversas indústrias torna necessária a criação eficiente e automatizada de conteúdo 3D. Apesar dos avanços recentes em modelos generativos 3D, os métodos existentes ainda enfrentam desafios com a velocidade de otimização, fidelidade geométrica e a falta de ativos para renderização baseada em física (PBR). Neste artigo, apresentamos o 3DTopia-XL, um modelo generativo 3D nativo escalável projetado para superar essas limitações. O 3DTopia-XL utiliza uma representação 3D baseada em primitivas inovadora, PrimX, que codifica detalhes de forma, albedo e campo de material em um formato tensorial compacto, facilitando a modelagem de geometria de alta resolução com ativos PBR. Sobre a representação inovadora, propomos um framework generativo baseado em Transformer de Difusão (DiT), que compreende 1) Compressão de Patches Primitivos e 2) Difusão Primitiva Latente. O 3DTopia-XL aprende a gerar ativos 3D de alta qualidade a partir de entradas textuais ou visuais. Realizamos experimentos qualitativos e quantitativos extensivos para demonstrar que o 3DTopia-XL supera significativamente os métodos existentes na geração de ativos 3D de alta qualidade com texturas e materiais detalhados, preenchendo eficientemente a lacuna de qualidade entre modelos generativos e aplicações do mundo real.

English

The increasing demand for high-quality 3D assets across various industries necessitates efficient and automated 3D content creation. Despite recent advancements in 3D generative models, existing methods still face challenges with optimization speed, geometric fidelity, and the lack of assets for physically based rendering (PBR). In this paper, we introduce 3DTopia-XL, a scalable native 3D generative model designed to overcome these limitations. 3DTopia-XL leverages a novel primitive-based 3D representation, PrimX, which encodes detailed shape, albedo, and material field into a compact tensorial format, facilitating the modeling of high-resolution geometry with PBR assets. On top of the novel representation, we propose a generative framework based on Diffusion Transformer (DiT), which comprises 1) Primitive Patch Compression, 2) and Latent Primitive Diffusion. 3DTopia-XL learns to generate high-quality 3D assets from textual or visual inputs. We conduct extensive qualitative and quantitative experiments to demonstrate that 3DTopia-XL significantly outperforms existing methods in generating high-quality 3D assets with fine-grained textures and materials, efficiently bridging the quality gap between generative models and real-world applications.