DressCode: テキストから衣服を自己回帰的に縫製・生成するガイダンス

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

著者: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

要旨

衣服が人間の外見において重要な役割を果たすことから、デジタルヒューマン作成における衣服のデジタル化の重要性が強調されています。近年の3Dコンテンツ作成の進展は、デジタルヒューマン作成において極めて重要です。しかしながら、テキストガイダンスに基づく衣服生成はまだ初期段階にあります。本論文では、テキスト駆動型の3D衣服生成フレームワーク「DressCode」を紹介します。このフレームワークは、初心者向けのデザインの民主化を目指し、ファッションデザイン、バーチャル試着、デジタルヒューマン作成において大きな可能性を提供します。本フレームワークでは、まずSewingGPTを導入します。これは、GPTベースのアーキテクチャであり、テキスト条件付きの埋め込みとクロスアテンションを統合して、テキストガイダンスに基づく縫製パターンを生成します。また、高品質なタイルベースのPBRテクスチャ生成のために、事前学習済みのStable Diffusionをカスタマイズしました。大規模言語モデルを活用することで、本フレームワークは自然言語インタラクションを通じてCG向けの衣服を生成します。さらに、本手法はパターンの補完やテクスチャ編集を容易にし、ユーザーフレンドリーなインタラクションを通じてデザイナーの作業を簡素化します。包括的な評価と他の最先端手法との比較を通じて、本手法は最高品質と入力プロンプトとの整合性を示しています。ユーザー調査により、高品質なレンダリング結果が実用的な有用性と生産環境における潜在的可能性を裏付けています。

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.