HeadSculpt: Creazione di Avatar 3D di Teste con il Testo

HeadSculpt: Crafting 3D Head Avatars with Text

June 5, 2023

Autori: Xiao Han, Yukang Cao, Kai Han, Xiatian Zhu, Jiankang Deng, Yi-Zhe Song, Tao Xiang, Kwan-Yee K. Wong

cs.AI

Abstract

Recentemente, i metodi generativi 3D guidati da testo hanno compiuto progressi significativi nella produzione di texture e geometrie di alta qualità, sfruttando la proliferazione di modelli di visione-linguaggio e di diffusione di immagini su larga scala. Tuttavia, i metodi esistenti continuano a incontrare difficoltà nella creazione di avatar 3D di teste ad alta fedeltà in due aspetti principali: (1) Si basano principalmente su un modello di diffusione testo-immagine pre-addestrato, mancando della consapevolezza 3D e dei prior specifici per le teste. Ciò li rende inclini a incoerenze e distorsioni geometriche negli avatar generati. (2) Presentano limitazioni nell'editing fine-granulare, principalmente a causa delle limitazioni ereditate dai modelli di diffusione di immagini 2D pre-addestrati, che diventano più evidenti quando si tratta di avatar 3D di teste. In questo lavoro, affrontiamo queste sfide introducendo una pipeline versatile da grossolana a fine, denominata HeadSculpt, per la creazione (cioè generazione e modifica) di avatar 3D di teste a partire da prompt testuali. Nello specifico, dotiamo prima il modello di diffusione di consapevolezza 3D sfruttando controlli basati su landmark e un embedding testuale appreso che rappresenta l'aspetto della vista posteriore delle teste, consentendo generazioni di avatar 3D consistenti. Proponiamo inoltre una nuova strategia di distillazione del punteggio di editing consapevole dell'identità per ottimizzare una mesh texturizzata con una tecnica di rendering differenziabile ad alta risoluzione. Ciò permette di preservare l'identità mentre si seguono le istruzioni di modifica. Dimostriamo la superiorità di HeadSculpt in termini di fedeltà e capacità di editing attraverso esperimenti completi e confronti con i metodi esistenti.

English

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.