Garment3DGen: Stilizzazione e Generazione di Texture per Indumenti 3D

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Autori: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Abstract

Introduciamo Garment3DGen, un nuovo metodo per sintetizzare asset di indumenti 3D a partire da una mesh di base utilizzando una singola immagine in input come guida. Il nostro approccio proposto consente agli utenti di generare indumenti 3D con texture basati sia su immagini reali che sintetiche, come quelle generate da prompt testuali. Gli asset generati possono essere direttamente drappeggiati e simulati su corpi umani. In primo luogo, sfruttiamo i recenti progressi nei metodi di diffusione da immagine a 3D per generare geometrie di indumenti 3D. Tuttavia, poiché queste geometrie non possono essere utilizzate direttamente per compiti successivi, proponiamo di utilizzarle come pseudo verità di riferimento e impostiamo una procedura di ottimizzazione della deformazione della mesh che deforma una mesh template di base per adattarla al target 3D generato. In secondo luogo, introduciamo funzioni di perdita accuratamente progettate che consentono alla mesh di base di deformarsi liberamente verso il target desiderato, preservando al contempo la qualità e la topologia della mesh in modo che possano essere simulate. Infine, un modulo di stima della texture genera mappe di texture ad alta fedeltà che sono globalmente e localmente coerenti e catturano fedelmente la guida in input, permettendoci di renderizzare gli asset 3D generati. Con Garment3DGen, gli utenti possono generare l’indumento 3D con texture di loro scelta senza bisogno dell’intervento di un artista. È possibile fornire un prompt testuale che descrive l’indumento desiderato per generare un asset 3D pronto per la simulazione. Presentiamo una vasta gamma di confronti quantitativi e qualitativi su vari asset, sia reali che generati, e forniamo esempi pratici su come generare indumenti 3D pronti per la simulazione.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.