SEEAvatar : Génération photoréaliste d'avatars 3D à partir de texte avec contraintes géométriques et d'apparence

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Auteurs: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Résumé

Propulsée par des modèles de génération d'images à grande échelle à partir de texte, la génération d'avatars 3D à partir de texte a réalisé des progrès prometteurs. Cependant, la plupart des méthodes échouent à produire des résultats photoréalistes, limitées par une géométrie imprécise et une apparence de faible qualité. Pour une génération d'avatars plus pratique, nous présentons SEEAvatar, une méthode pour générer des avatars 3D photoréalistes à partir de texte avec des contraintes d'auto-évolution pour une géométrie et une apparence découplées. Pour la géométrie, nous proposons de contraindre l'avatar optimisé dans une forme globale décente avec un avatar modèle. L'avatar modèle est initialisé avec des connaissances humaines préalables et peut être mis à jour par l'avatar optimisé périodiquement en tant que modèle évolutif, ce qui permet une génération de forme plus flexible. De plus, la géométrie est également contrainte par les connaissances humaines préalables statiques dans les parties locales comme le visage et les mains pour maintenir les structures délicates. Pour la génération d'apparence, nous utilisons un modèle de diffusion amélioré par l'ingénierie de prompts pour guider un pipeline de rendu physiquement basé afin de générer des textures réalistes. La contrainte de légèreté est appliquée sur la texture d'albédo pour supprimer les effets d'éclairage incorrects. Les expériences montrent que notre méthode surpasse les méthodes précédentes à la fois sur la qualité globale et locale de la géométrie et de l'apparence avec une grande marge. Puisque notre méthode peut produire des maillages et des textures de haute qualité, ces actifs peuvent être directement appliqués dans le pipeline graphique classique pour un rendu réaliste sous n'importe quelle condition d'éclairage. Page du projet : https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.