StyleAvatar3D : Exploitation des modèles de diffusion texte-image pour la génération d'avatars 3D haute fidélité

StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation

May 30, 2023

Auteurs: Chi Zhang, Yiwen Chen, Yijun Fu, Zhenglin Zhou, Gang YU, Billzb Wang, Bin Fu, Tao Chen, Guosheng Lin, Chunhua Shen

cs.AI

Résumé

Les récents progrès des modèles de diffusion image-texte ont suscité un intérêt croissant pour les modèles génératifs 3D à grande échelle. Cependant, la disponibilité limitée de ressources 3D diversifiées pose des défis majeurs à l'apprentissage. Dans cet article, nous présentons une méthode novatrice pour générer des avatars 3D stylisés de haute qualité, qui exploite des modèles de diffusion image-texte pré-entraînés pour la génération de données et un réseau de génération 3D basé sur un Réseau Génératif Adversarial (GAN) pour l'entraînement. Notre méthode tire parti des connaissances approfondies en matière d'apparence et de géométrie offertes par les modèles de diffusion image-texte pour générer des images multi-vues d'avatars dans divers styles. Lors de la génération des données, nous utilisons des poses extraites de modèles 3D existants pour guider la création d'images multi-vues. Pour résoudre le problème de désalignement entre les poses et les images dans les données, nous explorons des invites spécifiques à la vue et développons un discriminateur allant du grossier au fin pour l'entraînement du GAN. Nous examinons également des invites liées aux attributs pour augmenter la diversité des avatars générés. Par ailleurs, nous développons un modèle de diffusion latente dans l'espace de style de StyleGAN afin de permettre la génération d'avatars à partir d'entrées d'images. Notre approche démontre une performance supérieure aux méthodes actuelles de pointe en termes de qualité visuelle et de diversité des avatars produits.

English

The recent advancements in image-text diffusion models have stimulated research interest in large-scale 3D generative models. Nevertheless, the limited availability of diverse 3D resources presents significant challenges to learning. In this paper, we present a novel method for generating high-quality, stylized 3D avatars that utilizes pre-trained image-text diffusion models for data generation and a Generative Adversarial Network (GAN)-based 3D generation network for training. Our method leverages the comprehensive priors of appearance and geometry offered by image-text diffusion models to generate multi-view images of avatars in various styles. During data generation, we employ poses extracted from existing 3D models to guide the generation of multi-view images. To address the misalignment between poses and images in data, we investigate view-specific prompts and develop a coarse-to-fine discriminator for GAN training. We also delve into attribute-related prompts to increase the diversity of the generated avatars. Additionally, we develop a latent diffusion model within the style space of StyleGAN to enable the generation of avatars based on image inputs. Our approach demonstrates superior performance over current state-of-the-art methods in terms of visual quality and diversity of the produced avatars.