DressCode: Autoregressief Naaiwerk en Genereren van Kledingstukken vanuit Tekstbegeleiding

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Auteurs: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Samenvatting

De belangrijke rol van kleding in het menselijk uiterlijk benadrukt het belang van digitalisering van kleding voor de creatie van digitale mensen. Recente vooruitgang in 3D-contentcreatie is cruciaal voor de creatie van digitale mensen. Desalniettemin staat het genereren van kleding op basis van tekstbegeleiding nog in de kinderschoenen. Wij introduceren een tekstgestuurd 3D-kledinggeneratieframework, DressCode, dat als doel heeft het ontwerpen te democratiseren voor beginners en enorme potentie biedt in modeontwerp, virtueel passen en de creatie van digitale mensen. Voor ons framework introduceren we eerst SewingGPT, een GPT-gebaseerde architectuur die cross-attention integreert met tekstgeconditioneerde embedding om naaipatronen te genereren met tekstbegeleiding. We hebben ook een vooraf getrainde Stable Diffusion aangepast voor hoogwaardige, tegelgebaseerde PBR-textuurgeneratie. Door gebruik te maken van een groot taalmodel genereert ons framework CG-vriendelijke kleding via natuurlijke taalinteractie. Onze methode vergemakkelijkt ook patroonvoltooiing en textuurbewerking, waardoor het proces voor ontwerpers wordt vereenvoudigd door gebruiksvriendelijke interactie. Met uitgebreide evaluaties en vergelijkingen met andere state-of-the-art methoden toont onze methode de beste kwaliteit en afstemming op de invoerprompts. Gebruikersstudies valideren verder onze hoogwaardige renderresultaten, wat de praktische bruikbaarheid en het potentieel in productieomgevingen benadrukt.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.