StrandHead: Текст к Strand-разделенным 3D аватаркам головы с использованием волос - геометрические априорные данные

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Авторы: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Аннотация

Причёска является индикатором отдельной личности, однако существующие методы генерации аватаров не учитывают практическое моделирование волос из-за общего или запутанного представления. Мы предлагаем StrandHead, новый метод генерации аватаров головы в 3D из текста, способный создавать разделённые 3D волосы с представлением прядей. Не используя 3D данные для наблюдения, мы демонстрируем, что реалистичные волосяные пряди могут быть созданы из подсказок путём упрощения 2D генеративных моделей диффузии. Для этого мы предлагаем ряд надёжных априорных знаний о начальной форме, геометрических примитивах и статистических особенностях прически, что приводит к стабильной оптимизации и высокой производительности в соответствии с текстом. Обширные эксперименты показывают, что StrandHead достигает передового уровня в реалистичности и разнообразии созданных 3D голов и волос. Созданные 3D волосы также могут легко использоваться в Unreal Engine для физического моделирования и других приложений. Код будет доступен по адресу https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.