3DTopia-XL：プリミティブ拡散を介した高品質3Dアセット生成のスケーリング

3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

September 19, 2024

著者: Zhaoxi Chen, Jiaxiang Tang, Yuhao Dong, Ziang Cao, Fangzhou Hong, Yushi Lan, Tengfei Wang, Haozhe Xie, Tong Wu, Shunsuke Saito, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

要旨

さまざまな産業における高品質な3Dアセットへの需要の増加により、効率的かつ自動化された3Dコンテンツの作成が必要とされています。最近の3D生成モデルの進歩にもかかわらず、既存の手法は最適化速度、幾何学的忠実度、物理ベースレンダリング（PBR）用のアセットの不足といった課題に直面しています。本論文では、これらの制約を克服するために設計されたスケーラブルなネイティブ3D生成モデルである3DTopia-XLを紹介します。3DTopia-XLは、詳細な形状、アルベド、および材料フィールドをコンパクトなテンソル形式でエンコードする新しいプリミティブベースの3D表現であるPrimXを活用し、PBRアセットを用いた高解像度ジオメトリのモデリングを容易にします。新しい表現の上に、我々はDiffusion Transformer（DiT）に基づく生成フレームワークを提案します。これには、1）プリミティブパッチ圧縮、2）潜在プリミティブ拡散が含まれます。3DTopia-XLは、テキストまたはビジュアル入力から高品質な3Dアセットを生成することを学習します。我々は、3DTopia-XLが高品質な3Dアセットを生成する際に既存の手法を大幅に上回ることを実証するために、包括的な定性的および定量的実験を実施します。これにより、生成モデルと実世界のアプリケーションとの品質のギャップを効果的に埋めることができます。

English

The increasing demand for high-quality 3D assets across various industries necessitates efficient and automated 3D content creation. Despite recent advancements in 3D generative models, existing methods still face challenges with optimization speed, geometric fidelity, and the lack of assets for physically based rendering (PBR). In this paper, we introduce 3DTopia-XL, a scalable native 3D generative model designed to overcome these limitations. 3DTopia-XL leverages a novel primitive-based 3D representation, PrimX, which encodes detailed shape, albedo, and material field into a compact tensorial format, facilitating the modeling of high-resolution geometry with PBR assets. On top of the novel representation, we propose a generative framework based on Diffusion Transformer (DiT), which comprises 1) Primitive Patch Compression, 2) and Latent Primitive Diffusion. 3DTopia-XL learns to generate high-quality 3D assets from textual or visual inputs. We conduct extensive qualitative and quantitative experiments to demonstrate that 3DTopia-XL significantly outperforms existing methods in generating high-quality 3D assets with fine-grained textures and materials, efficiently bridging the quality gap between generative models and real-world applications.