StrandHead : Texte vers des avatars de tête 3D désentrelacés en utilisant des cheveux comme contraintes géométriques.

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Auteurs: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Résumé

Alors que la coiffure indique une personnalité distincte, les méthodes existantes de génération d'avatars échouent à modéliser des cheveux pratiques en raison de la représentation générale ou emmêlée. Nous proposons StrandHead, une nouvelle méthode de génération d'avatars de tête 3D à partir de texte capable de générer des cheveux 3D démêlés avec une représentation en mèches. Sans utiliser de données 3D pour la supervision, nous démontrons que des mèches de cheveux réalistes peuvent être générées à partir de consignes en distillant des modèles de diffusion générative 2D. À cette fin, nous proposons une série de prédictions fiables sur l'initialisation de la forme, les primitives géométriques et les caractéristiques statistiques de la coiffure, conduisant à une optimisation stable et des performances alignées sur le texte. Des expériences approfondies montrent que StrandHead atteint l'état de l'art en termes de réalisme et de diversité de têtes 3D et de cheveux générés. Les cheveux 3D générés peuvent également être facilement implémentés dans le moteur Unreal pour une simulation physique et d'autres applications. Le code sera disponible sur https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.