DressCode : Couture et génération autoregressive de vêtements guidée par texte

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Auteurs: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Résumé

Le rôle significatif des vêtements dans l'apparence humaine souligne l'importance de la numérisation des vêtements pour la création d'humains numériques. Les récents progrès dans la création de contenu 3D sont essentiels pour la création d'humains numériques. Néanmoins, la génération de vêtements à partir de directives textuelles en est encore à ses débuts. Nous présentons un cadre de génération de vêtements 3D piloté par texte, DressCode, qui vise à démocratiser la conception pour les novices et offre un potentiel immense dans la conception de mode, l'essayage virtuel et la création d'humains numériques. Pour notre cadre, nous introduisons d'abord SewingGPT, une architecture basée sur GPT intégrant une attention croisée avec un embedding conditionné par le texte pour générer des patrons de couture avec des directives textuelles. Nous avons également adapté un modèle Stable Diffusion pré-entraîné pour la génération de textures PBR de haute qualité basées sur des tuiles. En exploitant un modèle de langage de grande taille, notre cadre génère des vêtements adaptés à l'infographie grâce à une interaction en langage naturel. Notre méthode facilite également la complétion de patrons et l'édition de textures, simplifiant le processus pour les concepteurs grâce à une interaction conviviale. Avec des évaluations complètes et des comparaisons avec d'autres méthodes de pointe, notre méthode démontre la meilleure qualité et l'alignement avec les invites d'entrée. Des études utilisateurs valident en outre nos résultats de rendu de haute qualité, mettant en évidence son utilité pratique et son potentiel dans des environnements de production.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.