StyleAvatar3D: Использование диффузионных моделей "изображение-текст" для генерации высококачественных 3D-аватаров
StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation
May 30, 2023
Авторы: Chi Zhang, Yiwen Chen, Yijun Fu, Zhenglin Zhou, Gang YU, Billzb Wang, Bin Fu, Tao Chen, Guosheng Lin, Chunhua Shen
cs.AI
Аннотация
Недавние достижения в области диффузионных моделей для работы с изображениями и текстом стимулировали интерес к исследованиям в области крупномасштабных 3D-генеративных моделей. Тем не менее, ограниченная доступность разнообразных 3D-ресурсов представляет значительные трудности для обучения. В данной статье мы представляем новый метод генерации высококачественных стилизованных 3D-аватаров, который использует предварительно обученные диффузионные модели для работы с изображениями и текстом для генерации данных и сеть на основе генеративно-состязательной сети (GAN) для 3D-генерации. Наш метод использует обширные априорные знания о внешнем виде и геометрии, предоставляемые диффузионными моделями, для генерации многовидовых изображений аватаров в различных стилях. В процессе генерации данных мы используем позы, извлеченные из существующих 3D-моделей, для управления созданием многовидовых изображений. Для устранения несоответствия между позами и изображениями в данных мы исследуем специфичные для вида подсказки и разрабатываем дискриминатор от грубого к точному для обучения GAN. Мы также углубляемся в подсказки, связанные с атрибутами, чтобы увеличить разнообразие генерируемых аватаров. Кроме того, мы разрабатываем латентную диффузионную модель в пространстве стилей StyleGAN, чтобы обеспечить генерацию аватаров на основе входных изображений. Наш подход демонстрирует превосходную производительность по сравнению с современными методами с точки зрения визуального качества и разнообразия создаваемых аватаров.
English
The recent advancements in image-text diffusion models have stimulated
research interest in large-scale 3D generative models. Nevertheless, the
limited availability of diverse 3D resources presents significant challenges to
learning. In this paper, we present a novel method for generating high-quality,
stylized 3D avatars that utilizes pre-trained image-text diffusion models for
data generation and a Generative Adversarial Network (GAN)-based 3D generation
network for training. Our method leverages the comprehensive priors of
appearance and geometry offered by image-text diffusion models to generate
multi-view images of avatars in various styles. During data generation, we
employ poses extracted from existing 3D models to guide the generation of
multi-view images. To address the misalignment between poses and images in
data, we investigate view-specific prompts and develop a coarse-to-fine
discriminator for GAN training. We also delve into attribute-related prompts to
increase the diversity of the generated avatars. Additionally, we develop a
latent diffusion model within the style space of StyleGAN to enable the
generation of avatars based on image inputs. Our approach demonstrates superior
performance over current state-of-the-art methods in terms of visual quality
and diversity of the produced avatars.