Garment3DGen: Estilização de Roupas 3D e Geração de Texturas

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Autores: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Resumo

Apresentamos o Garment3DGen, um novo método para sintetizar ativos de roupas 3D a partir de uma malha base, utilizando uma única imagem de entrada como guia. Nossa abordagem proposta permite que os usuários gerem roupas 3D texturizadas com base em imagens reais e sintéticas, como aquelas geradas por prompts de texto. Os ativos gerados podem ser diretamente drapeados e simulados em corpos humanos. Primeiro, aproveitamos os recentes avanços em métodos de difusão de imagem para 3D para gerar geometrias de roupas 3D. No entanto, como essas geometrias não podem ser utilizadas diretamente para tarefas subsequentes, propomos usá-las como pseudo ground-truth e configuramos um procedimento de otimização de deformação de malha que deforma uma malha base para corresponder ao alvo 3D gerado. Segundo, introduzimos perdas cuidadosamente projetadas que permitem que a malha base de entrada se deforme livremente em direção ao alvo desejado, preservando a qualidade e a topologia da malha para que possam ser simuladas. Por fim, um módulo de estimativa de textura gera mapas de textura de alta fidelidade que são global e localmente consistentes e capturam fielmente a orientação de entrada, permitindo que renderizemos os ativos 3D gerados. Com o Garment3DGen, os usuários podem gerar a roupa 3D texturizada de sua escolha sem a necessidade de intervenção de artistas. Pode-se fornecer um prompt textual descrevendo a roupa desejada para gerar um ativo 3D pronto para simulação. Apresentamos uma variedade de comparações quantitativas e qualitativas em vários ativos, tanto reais quanto gerados, e fornecemos casos de uso de como é possível gerar roupas 3D prontas para simulação.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.