StrandHead: テキストを使用した髪の幾何学的事前知識を利用したストランド分離された3Dヘッドアバター

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

著者: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

要旨

髪型は個性を示すが、既存のアバター生成手法は一般的または絡み合った表現のために実用的な髪をモデル化することに失敗しています。私たちはStrandHeadという新しいテキストから3Dヘッドアバターを生成する手法を提案します。この手法は、ストランド表現を用いて解きほぐされた3D髪を生成することができます。3Dデータを監督に使用せず、2D生成拡散モデルを蒸留することで、リアルな髪のストランドがプロンプトから生成できることを示しています。このために、形状の初期化、幾何学的プリミティブ、および統計的な髪型特徴に信頼性のある事前知識の系列を提案し、安定した最適化とテキストに整列したパフォーマンスを実現しています。幅広い実験により、StrandHeadが生成された3Dヘッドと髪のリアリティと多様性の最先端を達成していることが示されています。生成された3D髪は、物理シミュレーションやその他のアプリケーションで簡単にUnreal Engineに実装できます。コードは以下のURLから入手できます：https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.