HeadSculpt: Erstellung von 3D-Kopf-Avataren mit Text

Zusammenfassung

Kürzlich haben textgesteuerte 3D-Generierungsmethoden bemerkenswerte Fortschritte bei der Erzeugung hochwertiger Texturen und Geometrien gemacht, indem sie die Verbreitung großer Vision-Language- und Bilddiffusionsmodelle nutzen. Allerdings haben bestehende Methoden immer noch Schwierigkeiten, hochwertige 3D-Kopfavatare in zwei Aspekten zu erstellen: (1) Sie stützen sich hauptsächlich auf ein vortrainiertes Text-zu-Bild-Diffusionsmodell, während ihnen das notwendige 3D-Bewusstsein und Kopf-Priors fehlen. Dies führt zu Inkonsistenzen und geometrischen Verzerrungen in den generierten Avataren. (2) Sie sind in der feinkörnigen Bearbeitung unzureichend. Dies liegt hauptsächlich an den vererbten Einschränkungen der vortrainierten 2D-Bilddiffusionsmodelle, die bei 3D-Kopfavataren noch deutlicher werden. In dieser Arbeit gehen wir diese Herausforderungen an, indem wir eine vielseitige Grob-zu-Fein-Pipeline namens HeadSculpt einführen, um 3D-Kopfavatare aus textuellen Eingabeaufforderungen zu erstellen (d.h. zu generieren und zu bearbeiten). Konkret statten wir zunächst das Diffusionsmodell mit 3D-Bewusstsein aus, indem wir landmark-basierte Steuerung und eine gelernte textuelle Einbettung nutzen, die das Erscheinungsbild der Rückansicht von Köpfen repräsentiert, wodurch 3D-konsistente Kopfavatar-Generationen ermöglicht werden. Weiterhin schlagen wir eine neuartige identitätsbewusste Bearbeitungsstrategie zur Score-Destillation vor, um ein texturiertes Mesh mit einer hochauflösenden differenzierbaren Rendering-Technik zu optimieren. Dies ermöglicht die Bewahrung der Identität, während die Bearbeitungsanweisung befolgt wird. Wir demonstrieren die überlegene Qualität und Bearbeitungsfähigkeiten von HeadSculpt durch umfassende Experimente und Vergleiche mit bestehenden Methoden.

English

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.

HeadSculpt: Erstellung von 3D-Kopf-Avataren mit Text

HeadSculpt: Crafting 3D Head Avatars with Text

Zusammenfassung

Support