HeadSculpt: Criando Avatares 3D de Cabeças com Texto

HeadSculpt: Crafting 3D Head Avatars with Text

June 5, 2023

Autores: Xiao Han, Yukang Cao, Kai Han, Xiatian Zhu, Jiankang Deng, Yi-Zhe Song, Tao Xiang, Kwan-Yee K. Wong

cs.AI

Resumo

Recentemente, os métodos generativos 3D guiados por texto têm feito avanços notáveis na produção de texturas e geometrias de alta qualidade, aproveitando a proliferação de grandes modelos de visão-linguagem e difusão de imagens. No entanto, os métodos existentes ainda enfrentam dificuldades para criar avatares 3D de cabeça de alta fidelidade em dois aspectos: (1) Eles dependem principalmente de um modelo de difusão de texto para imagem pré-treinado, enquanto carecem da consciência 3D e dos conhecimentos prévios sobre cabeças necessários. Isso os torna propensos a inconsistências e distorções geométricas nos avatares gerados. (2) Eles falham em edições refinadas. Isso se deve principalmente às limitações herdadas dos modelos de difusão de imagens 2D pré-treinados, que se tornam mais evidentes quando se trata de avatares 3D de cabeça. Neste trabalho, abordamos esses desafios introduzindo um pipeline versátil de grosseiro para refinado, denominado HeadSculpt, para criar (ou seja, gerar e editar) avatares 3D de cabeça a partir de prompts textuais. Especificamente, primeiro equipamos o modelo de difusão com consciência 3D, aproveitando o controle baseado em marcos e uma incorporação textual aprendida que representa a aparência da vista traseira das cabeças, permitindo gerações de avatares de cabeça consistentes em 3D. Além disso, propomos uma nova estratégia de destilação de pontuação de edição com consciência de identidade para otimizar uma malha texturizada com uma técnica de renderização diferenciável de alta resolução. Isso permite a preservação da identidade enquanto segue a instrução de edição. Demonstramos a superioridade da fidelidade e das capacidades de edição do HeadSculpt por meio de experimentos abrangentes e comparações com métodos existentes.

English

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.