HeadSculpt : Création d'avatars de têtes 3D à partir de texte

Résumé

Récemment, les méthodes génératives 3D guidées par texte ont réalisé des avancées remarquables dans la production de textures et de géométries de haute qualité, profitant de la prolifération des grands modèles vision-langage et de diffusion d'images. Cependant, les méthodes existantes peinent encore à créer des avatars 3D de têtes haute fidélité sur deux aspects : (1) Elles s'appuient principalement sur un modèle de diffusion texte-à-image pré-entraîné tout en manquant de conscience 3D et de connaissances préalables sur les têtes. Cela les rend sujettes à des incohérences et des distorsions géométriques dans les avatars générés. (2) Elles sont limitées en matière d'édition fine. Cela est principalement dû aux limitations héritées des modèles de diffusion d'images 2D pré-entraînés, qui deviennent plus prononcées lorsqu'il s'agit d'avatars 3D de têtes. Dans ce travail, nous relevons ces défis en introduisant une pipeline polyvalente allant du grossier au fin, appelée HeadSculpt, pour créer (c'est-à-dire générer et éditer) des avatars 3D de têtes à partir de prompts textuels. Plus précisément, nous dotons d'abord le modèle de diffusion d'une conscience 3D en exploitant un contrôle basé sur des points de repère et un embedding textuel appris représentant l'apparence de la vue arrière des têtes, permettant ainsi des générations d'avatars de têtes cohérentes en 3D. Nous proposons en outre une nouvelle stratégie de distillation de score d'édition consciente de l'identité pour optimiser un maillage texturé avec une technique de rendu différentiable haute résolution. Cela permet de préserver l'identité tout en suivant les instructions d'édition. Nous démontrons la fidélité supérieure et les capacités d'édition de HeadSculpt à travers des expériences approfondies et des comparaisons avec les méthodes existantes.

English

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.

HeadSculpt : Création d'avatars de têtes 3D à partir de texte

HeadSculpt: Crafting 3D Head Avatars with Text

Résumé

Support