ClotheDreamer: Geração de Vestuário Guiada por Texto com Gaussianas 3D

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Autores: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Resumo

A síntese de vestuário 3D de alta fidelidade a partir de texto é desejável, porém desafiadora para a criação de avatares digitais. Abordagens recentes baseadas em difusão por meio de Amostragem de Destilação de Pontuação (SDS) têm possibilitado novas possibilidades, mas geralmente se acoplam de forma intrincada ao corpo humano ou têm dificuldades de reutilização. Apresentamos o ClotheDreamer, um método 3D baseado em Gaussianas para gerar ativos de vestuário 3D prontos para produção a partir de instruções de texto. Propomos uma representação inovadora, chamada Disentangled Clothe Gaussian Splatting (DCGS), para permitir otimização separada. O DCGS representa o avatar vestido como um modelo gaussiano único, porém congela os splats gaussianos do corpo. Para aprimorar a qualidade e completude, incorporamos SDS bidirecional para supervisionar o avatar vestido e as renderizações RGBD do vestuário, respectivamente, com condições de pose, e propomos uma nova estratégia de poda para roupas folgadas. Nosso método também pode suportar modelos de roupas personalizadas como entrada. Graças ao nosso design, o vestuário 3D sintético pode ser facilmente aplicado em provas virtuais e suportar animações fisicamente precisas. Experimentos extensivos demonstram a performance superior e competitiva de nosso método. A página do nosso projeto está em https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.