Garment3DGen : Stylisation 3D de vêtements et génération de textures

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Auteurs: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Résumé

Nous présentons Garment3DGen, une nouvelle méthode pour synthétiser des actifs 3D de vêtements à partir d'un maillage de base en utilisant une seule image d'entrée comme guide. Notre approche proposée permet aux utilisateurs de générer des vêtements 3D texturés à partir d'images réelles ou synthétiques, telles que celles générées par des prompts textuels. Les actifs générés peuvent être directement drapés et simulés sur des corps humains. Tout d'abord, nous exploitons les récents progrès des méthodes de diffusion d'image vers 3D pour générer des géométries de vêtements en 3D. Cependant, comme ces géométries ne peuvent pas être utilisées directement pour des tâches ultérieures, nous proposons de les utiliser comme pseudo vérité terrain et mettons en place une procédure d'optimisation de déformation de maillage qui déforme un maillage de base pour correspondre à la cible 3D générée. Ensuite, nous introduisons des fonctions de perte soigneusement conçues qui permettent au maillage de base de se déformer librement vers la cible souhaitée, tout en préservant la qualité et la topologie du maillage afin qu'il puisse être simulé. Enfin, un module d'estimation de texture génère des cartes de texture haute fidélité qui sont globalement et localement cohérentes et capturent fidèlement le guide d'entrée, nous permettant de rendre les actifs 3D générés. Avec Garment3DGen, les utilisateurs peuvent générer le vêtement 3D texturé de leur choix sans avoir besoin de l'intervention d'un artiste. On peut fournir un prompt textuel décrivant le vêtement souhaité pour générer un actif 3D prêt à la simulation. Nous présentons une pléthore de comparaisons quantitatives et qualitatives sur divers actifs, réels et générés, et fournissons des cas d'utilisation montrant comment générer des vêtements 3D prêts à la simulation.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.