AniPortraitGAN: 2D画像コレクションからのアニメーション可能な3Dポートレート生成

要旨

従来の人間生成向けアニメーション可能な3D-aware GANは、主に頭部または全身に焦点を当ててきました。しかし、頭部のみの映像は実生活では比較的珍しく、全身生成では通常、表情の制御を扱わず、高品質な結果の生成において依然として課題があります。実用的なビデオアバターに向けて、本論文では、表情、頭部姿勢、肩の動きを制御可能なポートレート画像を生成するアニメーション可能な3D-aware GANを提案します。これは、3Dデータや映像データを使用せずに、非構造化された2D画像コレクションで訓練された生成モデルです。この新しいタスクに向けて、我々の手法は生成的放射多様体表現に基づいており、学習可能な顔と頭部-肩の変形を備えています。ポートレート画像にとって重要な生成された顔の品質を向上させるために、デュアルカメラレンダリングと敵対的学習スキームを提案します。長い髪などの挑戦的な領域に対して妥当な変形を生成するために、ポーズ変形処理ネットワークを開発しました。実験結果は、非構造化された2D画像で訓練された我々の手法が、異なる特性に対する所望の制御を伴った多様で高品質な3Dポートレートを生成できることを示しています。

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.

AniPortraitGAN: 2D画像コレクションからのアニメーション可能な3Dポートレート生成

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

要旨

Support