ClotheDreamer: 3Dガウシアンを用いたテキスト誘導型衣装生成

要旨

テキストからの高精細な3D衣類合成は、デジタルアバター作成において望まれるものの、依然として困難な課題です。最近のスコア蒸留サンプリング（SDS）を基にした拡散モデルアプローチは新たな可能性を開きましたが、人体と密接に結合しているか、再利用が難しいという問題がありました。本論文では、ClotheDreamerを紹介します。これは、テキストプロンプトから着用可能でプロダクションレディな3D衣類アセットを生成するための3Dガウシアンベースの手法です。我々は、分離最適化を可能にする新しい表現手法であるDisentangled Clothe Gaussian Splatting（DCGS）を提案します。DCGSは、着衣アバターを1つのガウシアンモデルとして表現しながら、身体のガウシアンスプラットを固定します。品質と完全性を向上させるため、双方向SDSを導入して、ポーズ条件を伴う着衣アバターと衣類のRGBDレンダリングをそれぞれ監督し、緩い衣類のための新しい剪定戦略を提案します。また、カスタム衣類テンプレートを入力としてサポートすることも可能です。我々の設計により、合成された3D衣類は仮想試着に容易に適用でき、物理的に正確なアニメーションをサポートします。広範な実験により、本手法の優れた競争力のある性能が示されています。プロジェクトページはhttps://ggxxii.github.io/clothedreamerにあります。

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.

ClotheDreamer: 3Dガウシアンを用いたテキスト誘導型衣装生成

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

要旨

Support