ClotheDreamer : Génération de vêtements guidée par texte avec des gaussiennes 3D

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Auteurs: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Résumé

La synthèse de vêtements 3D haute fidélité à partir de texte est souhaitable mais complexe pour la création d'avatars numériques. Les approches récentes basées sur la diffusion via l'échantillonnage par distillation de score (SDS) ont ouvert de nouvelles possibilités, mais elles sont soit étroitement couplées au corps humain, soit peinent à être réutilisées. Nous présentons ClotheDreamer, une méthode basée sur les Gaussiennes 3D pour générer des vêtements 3D prêts à l'emploi à partir de prompts textuels. Nous proposons une nouvelle représentation, le Disentangled Clothe Gaussian Splatting (DCGS), permettant une optimisation séparée. DCGS représente un avatar habillé comme un modèle Gaussien unique tout en gelant les splats Gaussien du corps. Pour améliorer la qualité et l'exhaustivité, nous intégrons un SDS bidirectionnel pour superviser les rendus RGBD de l'avatar habillé et des vêtements respectivement, avec des conditions de pose, et proposons une nouvelle stratégie d'élagage pour les vêtements amples. Notre approche peut également prendre en charge des modèles de vêtements personnalisés en entrée. Grâce à notre conception, le vêtement 3D synthétique peut être facilement appliqué à l'essayage virtuel et supporter des animations physiquement précises. Des expériences approfondies démontrent la performance supérieure et compétitive de notre méthode. Notre page de projet est disponible à l'adresse https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.