HeadSculpt: Создание 3D-аватаров голов с использованием текста

HeadSculpt: Crafting 3D Head Avatars with Text

June 5, 2023

Авторы: Xiao Han, Yukang Cao, Kai Han, Xiatian Zhu, Jiankang Deng, Yi-Zhe Song, Tao Xiang, Kwan-Yee K. Wong

cs.AI

Аннотация

В последнее время методы генерации 3D-контента на основе текстовых описаний достигли значительных успехов в создании высококачественных текстур и геометрии, благодаря широкому распространению крупных моделей для обработки изображений и текста. Однако существующие подходы всё ещё сталкиваются с трудностями в создании высокодетализированных 3D-аватаров голов в двух аспектах: (1) Они в основном полагаются на предобученные модели диффузии для генерации изображений из текста, но не учитывают необходимую 3D-осведомлённость и априорные знания о структуре головы. Это приводит к несоответствиям и геометрическим искажениям в создаваемых аватарах. (2) Они недостаточно эффективны в тонкой настройке. Это связано с унаследованными ограничениями предобученных 2D-моделей диффузии, которые становятся более заметными при работе с 3D-аватарами голов. В данной работе мы решаем эти проблемы, представляя универсальный подход от грубой к детальной обработке, названный HeadSculpt, для создания (т.е. генерации и редактирования) 3D-аватаров голов на основе текстовых запросов. В частности, мы сначала наделяем модель диффузии 3D-осведомлённостью, используя контроль на основе ключевых точек и обученное текстовое представление, описывающее внешний вид головы сзади, что позволяет генерировать 3D-согласованные аватары. Далее мы предлагаем новую стратегию дистилляции оценок для редактирования с сохранением идентичности, которая оптимизирует текстурированную сетку с использованием техники дифференцируемого рендеринга высокого разрешения. Это позволяет сохранять идентичность аватара, следуя инструкциям редактирования. Мы демонстрируем превосходную детализацию и возможности редактирования HeadSculpt через всесторонние эксперименты и сравнения с существующими методами.

English

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.