DressCode: Costurando e Gerando Roupas Autoregressivamente com Orientação de Texto

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

Autores: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

Resumo

O papel significativo das vestimentas na aparência humana ressalta a importância da digitalização de roupas para a criação de humanos digitais. Avanços recentes na criação de conteúdo 3D são fundamentais para a criação de humanos digitais. No entanto, a geração de roupas a partir de orientações textuais ainda está em estágio inicial. Apresentamos um framework de geração de roupas 3D orientado por texto, chamado DressCode, que visa democratizar o design para iniciantes e oferecer um potencial imenso no design de moda, experimentação virtual e criação de humanos digitais. Para nosso framework, primeiro introduzimos o SewingGPT, uma arquitetura baseada em GPT que integra atenção cruzada com embeddings condicionados por texto para gerar padrões de costura com orientação textual. Também adaptamos um Stable Diffusion pré-treinado para a geração de texturas PBR de alta qualidade baseadas em blocos. Ao aproveitar um modelo de linguagem de grande escala, nosso framework gera roupas amigáveis para computação gráfica por meio de interação em linguagem natural. Nosso método também facilita a conclusão de padrões e a edição de texturas, simplificando o processo para designers por meio de interação amigável ao usuário. Com avaliações abrangentes e comparações com outros métodos state-of-the-art, nosso método demonstra a melhor qualidade e alinhamento com os prompts de entrada. Estudos com usuários validam ainda mais nossos resultados de renderização de alta qualidade, destacando sua utilidade prática e potencial em ambientes de produção.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.