ClotheDreamer: 3D 가우시안 기반 텍스트 지시 의상 생성

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

저자: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

초록

텍스트에서 고품질 3D 의류 합성은 디지털 아바타 제작에 있어 바람직하지만 여전히 도전적인 과제입니다. 최근 Score Distillation Sampling (SDS)을 통한 확산 기반 접근법이 새로운 가능성을 열었지만, 이는 인체와 복잡하게 결합되거나 재사용이 어려운 문제가 있습니다. 우리는 ClotheDreamer를 소개하며, 이는 텍스트 프롬프트로부터 착용 가능하고 프로덕션 준비가 된 3D 의류 자산을 생성하기 위한 3D 가우시안 기반 방법입니다. 우리는 별도의 최적화를 가능하게 하는 새로운 표현인 Disentangled Clothe Gaussian Splatting (DCGS)을 제안합니다. DCGS는 옷을 입은 아바타를 하나의 가우시안 모델로 표현하지만, 신체 가우시안 스플랫을 고정합니다. 품질과 완성도를 높이기 위해, 우리는 양방향 SDS를 도입하여 포즈 조건과 함께 옷을 입은 아바타와 의류 RGBD 렌더링을 각각 감독하고, 느슨한 의류를 위한 새로운 가지치기 전략을 제안합니다. 우리의 접근 방식은 사용자 정의 의류 템플릿을 입력으로 지원할 수도 있습니다. 우리의 설계 덕분에, 합성된 3D 의류는 가상 피팅에 쉽게 적용될 수 있으며 물리적으로 정확한 애니메이션을 지원합니다. 광범위한 실험을 통해 우리의 방법이 우수하고 경쟁력 있는 성능을 보여줌을 입증합니다. 우리의 프로젝트 페이지는 https://ggxxii.github.io/clothedreamer에서 확인할 수 있습니다.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.