ZeroAvatar : Génération d'avatars 3D en zero-shot à partir d'une seule image

ZeroAvatar: Zero-shot 3D Avatar Generation from a Single Image

May 25, 2023

Auteurs: Zhenzhen Weng, Zeyu Wang, Serena Yeung

cs.AI

Résumé

Les récentes avancées dans la génération d'images à partir de texte ont permis des progrès significatifs dans la génération de formes 3D en mode zero-shot. Cela est réalisé grâce à la distillation de scores, une méthodologie qui utilise des modèles de diffusion texte-image pré-entraînés pour optimiser les paramètres d'une représentation neuronale 3D, par exemple un champ de radiance neuronale (NeRF). Bien que prometteurs, les méthodes existantes peinent souvent à préserver la géométrie des formes complexes, telles que les corps humains. Pour relever ce défi, nous présentons ZeroAvatar, une méthode qui introduit un a priori explicite du corps humain 3D dans le processus d'optimisation. Plus précisément, nous estimons et affinons d'abord les paramètres d'un corps humain paramétrique à partir d'une seule image. Ensuite, lors de l'optimisation, nous utilisons le corps paramétrique posé comme contrainte géométrique supplémentaire pour régulariser le modèle de diffusion ainsi que le champ de densité sous-jacent. Enfin, nous proposons un terme de régularisation de texture guidé par les coordonnées UV pour mieux guider la complétion de la texture sur les parties invisibles du corps. Nous démontrons que ZeroAvatar améliore significativement la robustesse et la cohérence 3D de la génération d'avatars image-3D basée sur l'optimisation, surpassant les méthodes zero-shot image-3D existantes.

English

Recent advancements in text-to-image generation have enabled significant progress in zero-shot 3D shape generation. This is achieved by score distillation, a methodology that uses pre-trained text-to-image diffusion models to optimize the parameters of a 3D neural presentation, e.g. Neural Radiance Field (NeRF). While showing promising results, existing methods are often not able to preserve the geometry of complex shapes, such as human bodies. To address this challenge, we present ZeroAvatar, a method that introduces the explicit 3D human body prior to the optimization process. Specifically, we first estimate and refine the parameters of a parametric human body from a single image. Then during optimization, we use the posed parametric body as additional geometry constraint to regularize the diffusion model as well as the underlying density field. Lastly, we propose a UV-guided texture regularization term to further guide the completion of texture on invisible body parts. We show that ZeroAvatar significantly enhances the robustness and 3D consistency of optimization-based image-to-3D avatar generation, outperforming existing zero-shot image-to-3D methods.