Garment3DGen: Estilización de prendas 3D y generación de texturas

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Autores: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Resumen

Presentamos Garment3DGen, un nuevo método para sintetizar activos de prendas 3D a partir de una malla base utilizando una única imagen de entrada como guía. Nuestro enfoque propuesto permite a los usuarios generar prendas 3D texturizadas basadas tanto en imágenes reales como sintéticas, como aquellas generadas mediante indicaciones de texto. Los activos generados pueden ser directamente drapeados y simulados sobre cuerpos humanos. Primero, aprovechamos los avances recientes en métodos de difusión de imagen a 3D para generar geometrías de prendas en 3D. Sin embargo, dado que estas geometrías no pueden utilizarse directamente para tareas posteriores, proponemos utilizarlas como pseudo-verdad de referencia y establecer un procedimiento de optimización de deformación de mallas que deforma una malla base para que coincida con el objetivo 3D generado. En segundo lugar, introducimos funciones de pérdida cuidadosamente diseñadas que permiten que la malla base de entrada se deforme libremente hacia el objetivo deseado, pero preserven la calidad y la topología de la malla para que puedan ser simuladas. Finalmente, un módulo de estimación de texturas genera mapas de textura de alta fidelidad que son global y localmente consistentes y capturan fielmente la guía de entrada, lo que nos permite renderizar los activos 3D generados. Con Garment3DGen, los usuarios pueden generar la prenda 3D texturizada de su elección sin necesidad de intervención artística. Uno puede proporcionar una indicación textual que describa la prenda que desea generar para obtener un activo 3D listo para simulación. Presentamos una gran cantidad de comparaciones cuantitativas y cualitativas en varios activos, tanto reales como generados, y proporcionamos casos de uso sobre cómo se pueden generar prendas 3D listas para simulación.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.