StyleAvatar3D: Sfruttare i Modelli di Diffusione Immagine-Testo per la Generazione di Avatar 3D ad Alta Fedeltà

StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation

May 30, 2023

Autori: Chi Zhang, Yiwen Chen, Yijun Fu, Zhenglin Zhou, Gang YU, Billzb Wang, Bin Fu, Tao Chen, Guosheng Lin, Chunhua Shen

cs.AI

Abstract

I recenti progressi nei modelli di diffusione immagine-testo hanno stimolato l'interesse della ricerca verso modelli generativi 3D su larga scala. Tuttavia, la limitata disponibilità di risorse 3D diversificate presenta sfide significative per l'apprendimento. In questo articolo, presentiamo un metodo innovativo per generare avatar 3D stilizzati di alta qualità, che utilizza modelli di diffusione immagine-testo pre-addestrati per la generazione di dati e una rete generativa avversaria (GAN) per la formazione di modelli 3D. Il nostro metodo sfrutta i precedenti completi di aspetto e geometria offerti dai modelli di diffusione immagine-testo per generare immagini multi-vista di avatar in vari stili. Durante la generazione dei dati, utilizziamo pose estratte da modelli 3D esistenti per guidare la creazione di immagini multi-vista. Per affrontare il disallineamento tra pose e immagini nei dati, esploriamo prompt specifici per la vista e sviluppiamo un discriminatore da grossolano a fine per l'addestramento della GAN. Approfondiamo inoltre prompt legati agli attributi per aumentare la diversità degli avatar generati. Inoltre, sviluppiamo un modello di diffusione latente all'interno dello spazio stilistico di StyleGAN per consentire la generazione di avatar basati su input di immagini. Il nostro approccio dimostra prestazioni superiori rispetto ai metodi attuali all'avanguardia in termini di qualità visiva e diversità degli avatar prodotti.

English

The recent advancements in image-text diffusion models have stimulated research interest in large-scale 3D generative models. Nevertheless, the limited availability of diverse 3D resources presents significant challenges to learning. In this paper, we present a novel method for generating high-quality, stylized 3D avatars that utilizes pre-trained image-text diffusion models for data generation and a Generative Adversarial Network (GAN)-based 3D generation network for training. Our method leverages the comprehensive priors of appearance and geometry offered by image-text diffusion models to generate multi-view images of avatars in various styles. During data generation, we employ poses extracted from existing 3D models to guide the generation of multi-view images. To address the misalignment between poses and images in data, we investigate view-specific prompts and develop a coarse-to-fine discriminator for GAN training. We also delve into attribute-related prompts to increase the diversity of the generated avatars. Additionally, we develop a latent diffusion model within the style space of StyleGAN to enable the generation of avatars based on image inputs. Our approach demonstrates superior performance over current state-of-the-art methods in terms of visual quality and diversity of the produced avatars.