StyleAvatar3D: Nutzung von Bild-Text-Diffusionsmodellen zur Erzeugung hochwertiger 3D-Avatare

StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation

May 30, 2023

Autoren: Chi Zhang, Yiwen Chen, Yijun Fu, Zhenglin Zhou, Gang YU, Billzb Wang, Bin Fu, Tao Chen, Guosheng Lin, Chunhua Shen

cs.AI

Zusammenfassung

Die jüngsten Fortschritte in Bild-Text-Diffusionsmodellen haben das Forschungsinteresse an großskaligen 3D-Generativmodellen stimuliert. Dennoch stellt die begrenzte Verfügbarkeit vielfältiger 3D-Ressourcen erhebliche Herausforderungen für das Lernen dar. In diesem Artikel präsentieren wir eine neuartige Methode zur Erzeugung hochwertiger, stilisierten 3D-Avatare, die vortrainierte Bild-Text-Diffusionsmodelle zur Datengenerierung und ein auf Generative Adversarial Networks (GAN) basierendes 3D-Generierungsnetzwerk für das Training nutzt. Unsere Methode nutzt die umfassenden Vorinformationen zu Aussehen und Geometrie, die von Bild-Text-Diffusionsmodellen bereitgestellt werden, um Multi-View-Bilder von Avataren in verschiedenen Stilen zu generieren. Während der Datengenerierung verwenden wir Posen, die aus bestehenden 3D-Modellen extrahiert wurden, um die Erzeugung von Multi-View-Bildern zu steuern. Um die Fehlausrichtung zwischen Posen und Bildern in den Daten zu beheben, untersuchen wir ansichtsspezifische Prompts und entwickeln einen grob-zu-fein Diskriminator für das GAN-Training. Wir befassen uns auch mit attributbezogenen Prompts, um die Vielfalt der generierten Avatare zu erhöhen. Zusätzlich entwickeln wir ein latentes Diffusionsmodell innerhalb des Stilraums von StyleGAN, um die Erzeugung von Avataren basierend auf Bildinputs zu ermöglichen. Unser Ansatz zeigt eine überlegene Leistung gegenüber aktuellen state-of-the-art Methoden in Bezug auf die visuelle Qualität und Vielfalt der erzeugten Avatare.

English

The recent advancements in image-text diffusion models have stimulated research interest in large-scale 3D generative models. Nevertheless, the limited availability of diverse 3D resources presents significant challenges to learning. In this paper, we present a novel method for generating high-quality, stylized 3D avatars that utilizes pre-trained image-text diffusion models for data generation and a Generative Adversarial Network (GAN)-based 3D generation network for training. Our method leverages the comprehensive priors of appearance and geometry offered by image-text diffusion models to generate multi-view images of avatars in various styles. During data generation, we employ poses extracted from existing 3D models to guide the generation of multi-view images. To address the misalignment between poses and images in data, we investigate view-specific prompts and develop a coarse-to-fine discriminator for GAN training. We also delve into attribute-related prompts to increase the diversity of the generated avatars. Additionally, we develop a latent diffusion model within the style space of StyleGAN to enable the generation of avatars based on image inputs. Our approach demonstrates superior performance over current state-of-the-art methods in terms of visual quality and diversity of the produced avatars.