StyleAvatar3D: Benutten van Beeld-Tekst Diffusiemodellen voor Hoogwaardige 3D Avatar Generatie

StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation

May 30, 2023

Auteurs: Chi Zhang, Yiwen Chen, Yijun Fu, Zhenglin Zhou, Gang YU, Billzb Wang, Bin Fu, Tao Chen, Guosheng Lin, Chunhua Shen

cs.AI

Samenvatting

De recente vooruitgang in beeld-tekst diffusiemodellen heeft de onderzoeksinteresse in grootschalige 3D-generatieve modellen gestimuleerd. Desalniettemin vormt de beperkte beschikbaarheid van diverse 3D-bronnen aanzienlijke uitdagingen voor het leerproces. In dit artikel presenteren we een nieuwe methode voor het genereren van hoogwaardige, gestileerde 3D-avatars die gebruikmaakt van vooraf getrainde beeld-tekst diffusiemodellen voor datageneratie en een op Generative Adversarial Networks (GAN) gebaseerd 3D-generatienetwerk voor training. Onze methode benut de uitgebreide voorkennis van uiterlijk en geometrie die door beeld-tekst diffusiemodellen wordt geboden om multi-view beelden van avatars in verschillende stijlen te genereren. Tijdens de datageneratie gebruiken we poses die zijn geëxtraheerd uit bestaande 3D-modellen om de generatie van multi-view beelden te sturen. Om de misalignering tussen poses en beelden in de data aan te pakken, onderzoeken we view-specifieke prompts en ontwikkelen we een coarse-to-fine discriminator voor GAN-training. We verdiepen ons ook in attribuutgerelateerde prompts om de diversiteit van de gegenereerde avatars te vergroten. Daarnaast ontwikkelen we een latent diffusiemodel binnen de stijlruimte van StyleGAN om de generatie van avatars op basis van beeldinvoer mogelijk te maken. Onze aanpak toont superieure prestaties ten opzichte van huidige state-of-the-art methoden wat betreft visuele kwaliteit en diversiteit van de geproduceerde avatars.

English

The recent advancements in image-text diffusion models have stimulated research interest in large-scale 3D generative models. Nevertheless, the limited availability of diverse 3D resources presents significant challenges to learning. In this paper, we present a novel method for generating high-quality, stylized 3D avatars that utilizes pre-trained image-text diffusion models for data generation and a Generative Adversarial Network (GAN)-based 3D generation network for training. Our method leverages the comprehensive priors of appearance and geometry offered by image-text diffusion models to generate multi-view images of avatars in various styles. During data generation, we employ poses extracted from existing 3D models to guide the generation of multi-view images. To address the misalignment between poses and images in data, we investigate view-specific prompts and develop a coarse-to-fine discriminator for GAN training. We also delve into attribute-related prompts to increase the diversity of the generated avatars. Additionally, we develop a latent diffusion model within the style space of StyleGAN to enable the generation of avatars based on image inputs. Our approach demonstrates superior performance over current state-of-the-art methods in terms of visual quality and diversity of the produced avatars.