DressCode: Autoregressives Nähen und Generieren von Kleidungsstücken aus Text Anleitung

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Autoren: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Zusammenfassung

Die bedeutende Rolle von Kleidung für das menschliche Erscheinungsbild unterstreicht die Bedeutung der Digitalisierung von Kleidungsstücken für die digitale Menschenerstellung. Die jüngsten Fortschritte in der 3D-Inhalteerstellung sind entscheidend für die digitale Menschenerstellung. Dennoch ist die Generierung von Kleidungsstücken aus Textanweisungen noch in den Kinderschuhen. Wir stellen ein textgesteuertes 3D-Kleidungsgenerierungs-Framework namens DressCode vor, das darauf abzielt, das Design für Anfänger zu demokratisieren und ein enormes Potenzial in der Modegestaltung, virtuellen Anproben und der digitalen Menschenerstellung bietet. Für unser Framework stellen wir zunächst SewingGPT vor, eine auf GPT basierende Architektur, die Kreuz-Aufmerksamkeit mit textkonditionierten Einbettungen integriert, um Nähanleitungen mit Textanweisungen zu generieren. Wir haben auch eine vortrainierte Stable Diffusion für die hochwertige, kachelbasierte PBR-Texturgenerierung angepasst. Durch die Nutzung eines großen Sprachmodells generiert unser Framework CG-freundliche Kleidungsstücke durch Interaktion in natürlicher Sprache. Unsere Methode erleichtert auch die Musterergänzung und Texturbearbeitung und vereinfacht den Prozess für Designer durch benutzerfreundliche Interaktion. Mit umfassenden Bewertungen und Vergleichen mit anderen State-of-the-Art-Methoden zeigt unsere Methode die beste Qualität und Übereinstimmung mit Eingabeaufforderungen. Benutzerstudien bestätigen unsere hochwertigen Rendering-Ergebnisse und heben deren praktischen Nutzen und Potenzial in Produktionsumgebungen hervor.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.