ClotheDreamer: Генерация одежды по текстовому описанию с использованием 3D гауссиан

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

June 24, 2024

Авторы: Yufei Liu, Junshu Tang, Chu Zheng, Shijie Zhang, Jinkun Hao, Junwei Zhu, Dongjin Huang

cs.AI

Аннотация

Создание трехмерной одежды высокой точности из текста желательно, но вызывает определенные трудности при создании цифрового аватара. Недавние подходы на основе диффузии с использованием метода выборки по дистилляции оценок (Score Distillation Sampling, SDS) открывают новые возможности, но либо сложно связаны с человеческим телом, либо имеют проблемы с повторным использованием. Мы представляем ClotheDreamer, трехмерный метод на основе гауссовских функций для создания готовых к производству трехмерных одеждных элементов из текстовых подсказок. Мы предлагаем новое представление - Разделенное гауссовское наложение одежды (Disentangled Clothe Gaussian Splatting, DCGS) для возможности отдельной оптимизации. DCGS представляет одетого аватара как одну гауссовскую модель, но застывает гауссовские наложения тела. Для улучшения качества и полноты мы включаем двустороннюю выборку по дистилляции оценок для наблюдения за одетым аватаром и отрисовкой RGBD одежды соответственно с условиями позы, а также предлагаем новую стратегию обрезки свободной одежды. Наш подход также может поддерживать пользовательские шаблоны одежды в качестве входных данных. Благодаря нашему дизайну синтетическая трехмерная одежда легко применяется для виртуальной примерки и поддерживает физически точную анимацию. Обширные эксперименты демонстрируют превосходное и конкурентоспособное качество нашего метода. Нашу страницу проекта можно найти по адресу https://ggxxii.github.io/clothedreamer.

English

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method's superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.