StrandHoofd: Tekst naar Streng-Ontwarde 3D Hoofd Avatars met behulp van Haar Geometrische Aannames

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Auteurs: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Samenvatting

Hoewel een kapsel een onderscheidende persoonlijkheid aangeeft, falen bestaande methoden voor het genereren van avatars om praktisch haar te modelleren vanwege de algemene of verstrengelde representatie. Wij stellen StrandHead voor, een nieuw methode voor het genereren van 3D-hoofdavatars van tekst naar 3D, die in staat is om ontkoppeld 3D-haar te genereren met een strengrepresentatie. Zonder 3D-gegevens te gebruiken voor toezicht, tonen we aan dat realistische haarstrengen kunnen worden gegenereerd vanuit aanwijzingen door 2D generatieve diffusiemodellen te destilleren. Hiertoe stellen we een reeks betrouwbare prioriteiten voor op vorminitialisatie, geometrische primitieven en statistische kapeigenschappen, wat leidt tot een stabiele optimalisatie en prestaties die zijn afgestemd op de tekst. Uitgebreide experimenten tonen aan dat StrandHead de state-of-the-art realiteit en diversiteit van gegenereerde 3D-hoofden en haar bereikt. Het gegenereerde 3D-haar kan ook eenvoudig worden geïmplementeerd in de Unreal Engine voor fysieke simulatie en andere toepassingen. De code zal beschikbaar zijn op https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.