ClotheDreamer: Generación de prendas guiada por texto con Gaussianas 3D

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Autores: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Resumen

La síntesis de prendas 3D de alta fidelidad a partir de texto es deseable pero desafiante para la creación de avatares digitales. Los enfoques recientes basados en difusión mediante Muestreo de Destilación de Puntuación (SDS) han habilitado nuevas posibilidades, pero o bien se acoplan intrincadamente con el cuerpo humano o luchan por ser reutilizados. Presentamos ClotheDreamer, un método basado en Gaussianas 3D para generar activos de prendas 3D listos para producción a partir de indicaciones de texto. Proponemos una nueva representación llamada Disentangled Clothe Gaussian Splatting (DCGS) para permitir una optimización separada. DCGS representa un avatar vestido como un modelo Gaussiano, pero congela las splats Gaussianas del cuerpo. Para mejorar la calidad y la completitud, incorporamos SDS bidireccional para supervisar el avatar vestido y las representaciones RGBD de la prenda respectivamente, con condiciones de pose, y proponemos una nueva estrategia de poda para prendas sueltas. Nuestro enfoque también puede admitir plantillas de ropa personalizadas como entrada. Gracias a nuestro diseño, la prenda 3D sintética puede aplicarse fácilmente a pruebas virtuales y soportar animaciones físicamente precisas. Experimentos extensos demuestran el rendimiento superior y competitivo de nuestro método. Nuestra página del proyecto está en https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.