DressCode: Costura y Generación Autoregresiva de Prendas a partir de Texto Guiado

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Autores: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Resumen

El papel significativo de la indumentaria en la apariencia humana subraya la importancia de la digitalización de prendas para la creación de humanos digitales. Los avances recientes en la creación de contenido 3D son fundamentales para la creación de humanos digitales. Sin embargo, la generación de prendas a partir de guías textuales aún está en sus inicios. Presentamos un marco de generación de prendas 3D impulsado por texto, DressCode, que tiene como objetivo democratizar el diseño para principiantes y ofrecer un gran potencial en el diseño de moda, pruebas virtuales y creación de humanos digitales. Para nuestro marco, primero introducimos SewingGPT, una arquitectura basada en GPT que integra atención cruzada con incrustaciones condicionadas por texto para generar patrones de costura con guía textual. También adaptamos un Stable Diffusion preentrenado para la generación de texturas PBR basadas en mosaicos de alta calidad. Al aprovechar un modelo de lenguaje grande, nuestro marco genera prendas amigables para gráficos por computadora a través de la interacción en lenguaje natural. Nuestro método también facilita la finalización de patrones y la edición de texturas, simplificando el proceso para los diseñadores mediante una interacción fácil de usar. Con evaluaciones exhaustivas y comparaciones con otros métodos de vanguardia, nuestro método muestra la mejor calidad y alineación con las indicaciones de entrada. Los estudios de usuarios validan aún más nuestros resultados de renderizado de alta calidad, destacando su utilidad práctica y potencial en entornos de producción.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.