ClotheDreamer: Tekstgestuurde Kledinggeneratie met 3D Gaussiaanse Modellen

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Auteurs: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Samenvatting

Hoogwaardige 3D-kledingsynthese vanuit tekst is wenselijk maar uitdagend voor het creëren van digitale avatars. Recente op diffusie gebaseerde benaderingen via Score Distillation Sampling (SDS) hebben nieuwe mogelijkheden geboden, maar zijn ofwel nauw verbonden met het menselijk lichaam of moeilijk te hergebruiken. Wij introduceren ClotheDreamer, een op 3D Gaussiaanse modellen gebaseerde methode voor het genereren van draagbare, productieklare 3D-kledingassets vanuit tekstprompts. We stellen een nieuwe representatie voor, genaamd Disentangled Clothe Gaussian Splatting (DCGS), om afzonderlijke optimalisatie mogelijk te maken. DCGS representeert een geklede avatar als één Gaussiaans model, maar bevriest de Gaussiaanse splats van het lichaam. Om de kwaliteit en volledigheid te verbeteren, integreren we bidirectionele SDS om de geklede avatar en RGBD-renderingen van kleding respectievelijk te begeleiden met pose-condities en stellen we een nieuwe snoeistrategie voor voor losse kleding. Onze aanpak ondersteunt ook aangepaste kledingsjablonen als invoer. Dankzij ons ontwerp kan de synthetische 3D-kleding eenvoudig worden toegepast op virtuele passessies en fysiek nauwkeurige animaties ondersteunen. Uitgebreide experimenten tonen de superieure en competitieve prestaties van onze methode aan. Onze projectpagina is te vinden op https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.