DressCode: Creazione e Generazione Autoregressiva di Abiti con Guida Testuale
DressCode: Autoregressively Sewing and Generating Garments from Text Guidance
January 29, 2024
Autori: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu
cs.AI
Abstract
Il ruolo significativo dell'abbigliamento nell'aspetto umano sottolinea l'importanza della digitalizzazione degli indumenti per la creazione di umani digitali. I recenti progressi nella creazione di contenuti 3D sono fondamentali per la creazione di umani digitali. Tuttavia, la generazione di indumenti basata su testo è ancora agli inizi. Introduciamo un framework di generazione di indumenti 3D guidato da testo, DressCode, che mira a democratizzare il design per i principianti e offre un enorme potenziale nel design della moda, nel virtual try-on e nella creazione di umani digitali. Per il nostro framework, introduciamo prima SewingGPT, un'architettura basata su GPT che integra l'attenzione incrociata con l'embedding condizionato da testo per generare modelli di cucitura con guida testuale. Abbiamo anche adattato un Stable Diffusion pre-addestrato per la generazione di texture PBR basate su tessere di alta qualità. Sfruttando un modello linguistico di grandi dimensioni, il nostro framework genera indumenti adatti alla computer grafica attraverso l'interazione in linguaggio naturale. Il nostro metodo facilita anche il completamento dei modelli e la modifica delle texture, semplificando il processo per i designer grazie a un'interazione user-friendly. Con valutazioni complete e confronti con altri metodi all'avanguardia, il nostro metodo dimostra la migliore qualità e allineamento con i prompt di input. Studi sugli utenti convalidano ulteriormente i nostri risultati di rendering di alta qualità, evidenziando la sua utilità pratica e il potenziale in contesti di produzione.
English
Apparel's significant role in human appearance underscores the importance of
garment digitalization for digital human creation. Recent advances in 3D
content creation are pivotal for digital human creation. Nonetheless, garment
generation from text guidance is still nascent. We introduce a text-driven 3D
garment generation framework, DressCode, which aims to democratize design for
novices and offer immense potential in fashion design, virtual try-on, and
digital human creation. For our framework, we first introduce SewingGPT, a
GPT-based architecture integrating cross-attention with text-conditioned
embedding to generate sewing patterns with text guidance. We also tailored a
pre-trained Stable Diffusion for high-quality, tile-based PBR texture
generation. By leveraging a large language model, our framework generates
CG-friendly garments through natural language interaction. Our method also
facilitates pattern completion and texture editing, simplifying the process for
designers by user-friendly interaction. With comprehensive evaluations and
comparisons with other state-of-the-art methods, our method showcases the best
quality and alignment with input prompts. User studies further validate our
high-quality rendering results, highlighting its practical utility and
potential in production settings.