DiffusionGAN3D: 3D GANと拡散事前分布を組み合わせたテキスト誘導型3D生成とドメイン適応の強化

DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaption by Combining 3D GANs and Diffusion Priors

December 28, 2023

著者: Biwen Lei, Kai Yu, Mengyang Feng, Miaomiao Cui, Xuansong Xie

cs.AI

要旨

テキストガイドによるドメイン適応と3D対応ポートレート生成は、様々な分野で多くの応用が可能です。しかし、学習データの不足や、多様な形状と外観を扱うことの難しさから、これらのタスクに対する既存の手法は、柔軟性の欠如、不安定性、低い忠実度といった問題を抱えています。本論文では、3D GANと拡散事前分布を組み合わせることで、テキストガイドによる3Dドメイン適応と生成を強化する新しいフレームワークDiffusionGAN3Dを提案します。具体的には、事前学習済みの3D生成モデル（例：EG3D）とテキストから画像への拡散モデルを統合します。前者は、テキストから安定かつ高品質なアバター生成のための強固な基盤を提供します。そして、拡散モデルは強力な事前分布を提供し、情報量のある方向性で3D生成器のファインチューニングをガイドすることで、柔軟で効率的なテキストガイドによるドメイン適応を実現します。ドメイン適応における多様性とテキストからアバターへの生成能力を向上させるために、相対距離損失とケース固有の学習可能なトライプレーンをそれぞれ導入します。さらに、上記の両タスクにおけるテクスチャ品質を向上させるために、段階的なテクスチャリファインメントモジュールを設計します。広範な実験により、提案フレームワークがドメイン適応とテキストからアバターへのタスクの両方で優れた結果を達成し、生成品質と効率の面で既存の手法を上回ることが実証されました。プロジェクトのホームページはhttps://younglbw.github.io/DiffusionGAN3D-homepage/にあります。

English

Text-guided domain adaption and generation of 3D-aware portraits find many applications in various fields. However, due to the lack of training data and the challenges in handling the high variety of geometry and appearance, the existing methods for these tasks suffer from issues like inflexibility, instability, and low fidelity. In this paper, we propose a novel framework DiffusionGAN3D, which boosts text-guided 3D domain adaption and generation by combining 3D GANs and diffusion priors. Specifically, we integrate the pre-trained 3D generative models (e.g., EG3D) and text-to-image diffusion models. The former provides a strong foundation for stable and high-quality avatar generation from text. And the diffusion models in turn offer powerful priors and guide the 3D generator finetuning with informative direction to achieve flexible and efficient text-guided domain adaption. To enhance the diversity in domain adaption and the generation capability in text-to-avatar, we introduce the relative distance loss and case-specific learnable triplane respectively. Besides, we design a progressive texture refinement module to improve the texture quality for both tasks above. Extensive experiments demonstrate that the proposed framework achieves excellent results in both domain adaption and text-to-avatar tasks, outperforming existing methods in terms of generation quality and efficiency. The project homepage is at https://younglbw.github.io/DiffusionGAN3D-homepage/.