Strandkopf: Text zu Strang-entwirrten 3D-Kopf-Avataren unter Verwendung von Haargeometrischen Prioritäten

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Autoren: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Zusammenfassung

Während ein Haarschnitt eine ausgeprägte Persönlichkeit anzeigt, versagen bestehende Methoden zur Avatar-Generierung darin, praktisches Haar aufgrund der allgemeinen oder verwickelten Darstellung zu modellieren. Wir schlagen StrandHead vor, eine neuartige Methode zur Generierung von 3D-Kopf-Avataren aus Text, die in der Lage ist, entwirrtes 3D-Haar mit Strangdarstellung zu erzeugen. Ohne 3D-Daten zur Überwachung zu verwenden, zeigen wir, dass realistische Haarsträhnen aus Anweisungen generiert werden können, indem 2D-generative Diffusionsmodelle destilliert werden. Zu diesem Zweck schlagen wir eine Reihe zuverlässiger Voraussetzungen für die Forminitialisierung, geometrische Primitive und statistische Haarschnittmerkmale vor, die zu einer stabilen Optimierung und einer leistungsstarken Textausrichtung führen. Umfangreiche Experimente zeigen, dass StrandHead den Stand der Technik in Bezug auf Realität und Vielfalt von generierten 3D-Köpfen und Haaren erreicht. Das generierte 3D-Haar kann auch leicht in die Unreal Engine für physikalische Simulation und andere Anwendungen implementiert werden. Der Code wird unter https://xiaokunsun.github.io/StrandHead.github.io verfügbar sein.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.