Kleidungsstück3DGen: 3D Kleidungsstück-Stilisierung und Texturerzeugung

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

Autoren: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

Zusammenfassung

Wir stellen Garment3DGen vor, eine neue Methode zur Synthese von 3D-Kleidungsstücken aus einem Basismodell anhand eines einzelnen Eingabebildes als Anleitung. Unser vorgeschlagener Ansatz ermöglicht es Benutzern, 3D-texturierte Kleidungsstücke basierend auf sowohl realen als auch synthetischen Bildern zu generieren, wie z.B. solche, die durch Texteingaben erzeugt wurden. Die generierten Assets können direkt auf menschliche Körper angelegt und simuliert werden. Zunächst nutzen wir den jüngsten Fortschritt der Bild-zu-3D-Diffusionsmethoden, um 3D-Kleidungsgeometrien zu generieren. Da diese Geometrien jedoch nicht direkt für nachgelagerte Aufgaben genutzt werden können, schlagen wir vor, sie als Pseudo-Referenz zu verwenden und ein Gitterverformungsoptimierungsverfahren einzurichten, das ein Basistemplategitter verformt, um mit dem generierten 3D-Ziel übereinzustimmen. Zweitens führen wir sorgfältig konzipierte Verluste ein, die es dem Eingabebasismodell ermöglichen, sich frei zum gewünschten Ziel zu verformen, dabei jedoch die Gitterqualität und -topologie bewahren, so dass sie simuliert werden können. Schließlich generiert ein Texturschätzmodul hochwertige Texturkarten, die global und lokal konsistent sind und die Eingabeanleitung präzise erfassen, was es uns ermöglicht, die generierten 3D-Assets zu rendern. Mit Garment3DGen können Benutzer das texturierte 3D-Kleidungsstück ihrer Wahl ohne künstlerische Intervention generieren. Man kann eine textuelle Anweisung bereitstellen, die das gewünschte Kleidungsstück beschreibt, um ein simulationsfähiges 3D-Asset zu generieren. Wir präsentieren eine Vielzahl von quantitativen und qualitativen Vergleichen zu verschiedenen Assets, sowohl realen als auch generierten, und zeigen Anwendungsfälle auf, wie man simulationsfähige 3D-Kleidungsstücke generieren kann.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.