Garment3DGen: 3D Kledingstylering en Textuurgeneratie

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Auteurs: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Samenvatting

We introduceren Garment3DGen, een nieuwe methode om 3D-kledingassets te synthetiseren vanuit een basismesh, waarbij een enkele invoerafbeelding als richtlijn dient. Onze voorgestelde aanpak stelt gebruikers in staat om 3D-getextureerde kleding te genereren op basis van zowel echte als synthetische afbeeldingen, zoals die gegenereerd worden door tekstprompts. De gegenereerde assets kunnen direct worden gedrapeerd en gesimuleerd op menselijke lichamen. Ten eerste maken we gebruik van de recente vooruitgang in beeld-naar-3D diffusiemethoden om 3D-kledinggeometrieën te genereren. Omdat deze geometrieën echter niet direct kunnen worden gebruikt voor downstream taken, stellen we voor om ze als pseudo-grondwaarheid te gebruiken en een mesh-deformatieoptimalisatieprocedure op te zetten die een basismesh vervormt om overeen te komen met het gegenereerde 3D-doel. Ten tweede introduceren we zorgvuldig ontworpen verliesfuncties die ervoor zorgen dat het invoermesh vrij kan vervormen naar het gewenste doel, terwijl de meshkwaliteit en topologie behouden blijven, zodat ze kunnen worden gesimuleerd. Tot slot genereert een textuurberekeningsmodule hoogwaardige textuurkaarten die zowel globaal als lokaal consistent zijn en de invoerrichtlijn nauwkeurig vastleggen, waardoor we de gegenereerde 3D-assets kunnen renderen. Met Garment3DGen kunnen gebruikers de getextureerde 3D-kleding van hun keuze genereren zonder tussenkomst van een kunstenaar. Men kan een tekstuele prompt opgeven die de gewenste kleding beschrijft om een simulatieklare 3D-asset te genereren. We presenteren een breed scala aan kwantitatieve en kwalitatieve vergelijkingen op verschillende assets, zowel echt als gegenereerd, en bieden use-cases van hoe men simulatieklare 3D-kleding kan genereren.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.