AssetFormer: 自己回帰型トランスフォーマーによるモジュラー式3Dアセット生成

要旨

デジタル産業では、特にユーザ生成コンテンツ（UGC）向けに、高品質で多様なモジュラー3Dアセットの需要が高まっている。本論文では、テキスト記述からモジュラー3Dアセットを生成するために設計された、自己回帰型トランスフォーマーベースのモデルであるAssetFormerを提案する。パイロット研究では、オンラインプラットフォームから収集した実世界のモジュラーアセットを活用する。AssetFormerは、様々な応用に向けて制約のある設計パラメータに準拠したプリミティブで構成されるアセット作成の課題に取り組む。言語モデルに着想を得たモジュールシーケンシングとデコーディング技術を革新的に適用することで、本手法は自己回帰モデリングを通じてアセット生成の品質を向上させる。初期結果は、プロフェッショナルな開発やUGCシナリオにおけるアセット作成の効率化において、AssetFormerの有効性を示している。本研究は、様々な種類のモジュラー3Dアセットに拡張可能な柔軟なフレームワークを提示し、3Dコンテンツ生成の広範な分野に貢献する。コードはhttps://github.com/Advocate99/AssetFormer で公開されている。

English

The digital industry demands high-quality, diverse modular 3D assets, especially for user-generated content~(UGC). In this work, we introduce AssetFormer, an autoregressive Transformer-based model designed to generate modular 3D assets from textual descriptions. Our pilot study leverages real-world modular assets collected from online platforms. AssetFormer tackles the challenge of creating assets composed of primitives that adhere to constrained design parameters for various applications. By innovatively adapting module sequencing and decoding techniques inspired by language models, our approach enhances asset generation quality through autoregressive modeling. Initial results indicate the effectiveness of AssetFormer in streamlining asset creation for professional development and UGC scenarios. This work presents a flexible framework extendable to various types of modular 3D assets, contributing to the broader field of 3D content generation. The code is available at https://github.com/Advocate99/AssetFormer.

AssetFormer: 自己回帰型トランスフォーマーによるモジュラー式3Dアセット生成

AssetFormer: Modular 3D Assets Generation with Autoregressive Transformer

要旨

Support