StrandHead: Texto a Avatares de Cabeza 3D Desenredados en Hebras Utilizando Priors Geométricos del Cabello

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Autores: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Resumen

Mientras que el corte de cabello indica una personalidad distintiva, los métodos existentes de generación de avatares no logran modelar de manera práctica el cabello debido a la representación general o enredada. Proponemos StrandHead, un novedoso método de generación de avatares de cabeza en 3D a partir de texto capaz de generar cabello en 3D desenredado con representación de hebras. Sin utilizar datos en 3D para supervisión, demostramos que se pueden generar hebras de cabello realistas a partir de indicaciones mediante la destilación de modelos de difusión generativa en 2D. Con este fin, proponemos una serie de prioridades confiables en la inicialización de la forma, en las primitivas geométricas y en las características estadísticas del corte de cabello, lo que conduce a una optimización estable y un rendimiento alineado con el texto. Experimentos extensos muestran que StrandHead logra el estado del arte en realidad y diversidad de cabezas y cabellos en 3D generados. El cabello en 3D generado también se puede implementar fácilmente en Unreal Engine para simulación física y otras aplicaciones. El código estará disponible en https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.