ClotheDreamer: Generazione di Indumenti Guidata da Testo con Gaussiane 3D

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Autori: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Abstract

La sintesi di indumenti 3D ad alta fedeltà a partire da testo è desiderabile ma impegnativa per la creazione di avatar digitali. Recenti approcci basati su diffusione tramite Score Distillation Sampling (SDS) hanno aperto nuove possibilità, ma si legano in modo complesso al corpo umano o faticano a essere riutilizzati. Presentiamo ClotheDreamer, un metodo basato su Gaussiane 3D per generare asset di indumenti 3D indossabili e pronti per la produzione a partire da prompt testuali. Proponiamo una nuova rappresentazione chiamata Disentangled Clothe Gaussian Splatting (DCGS) per abilitare un'ottimizzazione separata. DCGS rappresenta l'avatar vestito come un unico modello Gaussiano ma congela le splat Gaussiane del corpo. Per migliorare qualità e completezza, integriamo SDS bidirezionale per supervisionare rispettivamente l'avatar vestito e le renderizzazioni RGBD degli indumenti con condizioni di posa e proponiamo una nuova strategia di potatura per abiti larghi. Il nostro approccio supporta anche modelli di abbigliamento personalizzati come input. Grazie al nostro design, l'indumento 3D sintetico può essere facilmente applicato al virtual try-on e supportare animazioni fisicamente accurate. Esperimenti estensivi dimostrano le prestazioni superiori e competitive del nostro metodo. La pagina del progetto è disponibile all'indirizzo https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.