KleidTraum: Textgesteuerte Kleidungserzeugung mit 3D-Gaußschen.

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Autoren: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Zusammenfassung

Die hochwertige 3D-Kleidungssynthese aus Text ist wünschenswert, aber herausfordernd für die Erstellung digitaler Avatare. Kürzlich entwickelte diffusionsbasierte Ansätze über Score Distillation Sampling (SDS) haben neue Möglichkeiten eröffnet, aber entweder eng mit dem menschlichen Körper verbunden oder haben Schwierigkeiten bei der Wiederverwendung. Wir stellen ClotheDreamer vor, eine 3D-Gauß-basierte Methode zur Generierung von tragbaren, produktionsfertigen 3D-Kleidungsstücken aus Texteingaben. Wir schlagen eine neuartige Darstellung namens Disentangled Clothe Gaussian Splatting (DCGS) vor, um separate Optimierungen zu ermöglichen. DCGS stellt den bekleideten Avatar als ein Gauß-Modell dar, friert jedoch die Körpersplats ein. Zur Verbesserung von Qualität und Vollständigkeit integrieren wir bidirektionales SDS zur Überwachung des bekleideten Avatars und der Kleidungs-RGBD-Renderings jeweils mit Posebedingungen und schlagen eine neue Strategie zur Entfernung von lockerer Kleidung vor. Unser Ansatz kann auch benutzerdefinierte Kleidungsvorlagen als Eingabe unterstützen. Dank unseres Designs kann die synthetische 3D-Kleidung problemlos für virtuelles Anprobieren verwendet werden und unterstützt physikalisch genaue Animationen. Umfangreiche Experimente zeigen die überlegene und wettbewerbsfähige Leistung unserer Methode. Unsere Projektseite befindet sich unter https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.