Cabeça de Fios: Avatares de Cabeça 3D Desembaraçados em Fios Usando Priors Geométricos

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Autores: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Resumo

Enquanto o corte de cabelo indica uma personalidade distinta, os métodos existentes de geração de avatares falham em modelar cabelos práticos devido à representação geral ou emaranhada. Propomos StrandHead, um novo método de geração de avatares de cabeça 3D a partir de texto capaz de gerar cabelos 3D desembaraçados com representação de fios. Sem utilizar dados 3D para supervisão, demonstramos que fios de cabelo realistas podem ser gerados a partir de sugestões por meio da destilação de modelos de difusão generativa 2D. Para isso, propomos uma série de prioridades confiáveis na inicialização de forma, primitivos geométricos e características estatísticas de corte de cabelo, resultando em uma otimização estável e desempenho alinhado ao texto. Experimentos extensivos mostram que o StrandHead alcança o estado da arte em realismo e diversidade de cabeça e cabelo 3D gerados. O cabelo 3D gerado também pode ser facilmente implementado no Unreal Engine para simulação física e outras aplicações. O código estará disponível em https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.