DressCode: Авторегрессивное шитье и генерация одежды из текста Руководство

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Авторы: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Аннотация

Значительная роль одежды в человеческом облике подчеркивает важность цифровой одежды для создания цифрового человека. Недавние достижения в создании 3D-контента имеют решающее значение для создания цифрового человека. Тем не менее, генерация одежды на основе текстовых указаний все еще находится в зачаточном состоянии. Мы представляем фреймворк генерации 3D-одежды на основе текста, DressCode, который направлен на демократизацию дизайна для новичков и предлагает огромный потенциал в области модного дизайна, виртуальной примерки и создания цифрового человека. Для нашего фреймворка мы сначала представляем SewingGPT, архитектуру на основе GPT, интегрирующую кросс-внимание с текстово-условленным встраиванием для генерации выкроек с помощью текстовых указаний. Мы также настроили предварительно обученный Stable Diffusion для генерации текстур высокого качества на основе плиток PBR. Используя большую языковую модель, наш фреймворк генерирует одежду, дружественную к компьютерной графике, через взаимодействие на естественном языке. Наш метод также облегчает завершение выкроек и редактирование текстур, упрощая процесс для дизайнеров благодаря удобному взаимодействию с пользователем. Проведя всесторонние оценки и сравнения с другими передовыми методами, наш метод демонстрирует лучшее качество и соответствие входным запросам. Пользовательские исследования дополнительно подтверждают высококачественные результаты рендеринга, выделяя его практическую полезность и потенциал в производственных условиях.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.