AniPortraitGAN : Génération de portraits 3D animables à partir de collections d'images 2D

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Auteurs: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Résumé

Les GAN 3D animables précédents pour la génération humaine se sont principalement concentrés soit sur la tête, soit sur le corps entier. Cependant, les vidéos centrées uniquement sur la tête sont relativement rares dans la vie réelle, et la génération du corps entier ne traite généralement pas du contrôle des expressions faciales et rencontre encore des difficultés à produire des résultats de haute qualité. En vue de créer des avatars vidéo applicables, nous présentons un GAN 3D animable qui génère des images de portrait avec un contrôle des expressions faciales, de la pose de la tête et des mouvements des épaules. Il s'agit d'un modèle génératif entraîné sur des collections d'images 2D non structurées sans utiliser de données 3D ou vidéo. Pour cette nouvelle tâche, nous basons notre méthode sur la représentation de la variété de radiance générative et l'équipons de déformations faciales et tête-épaules apprenables. Un schéma de rendu à double caméra et d'apprentissage adversarial est proposé pour améliorer la qualité des visages générés, ce qui est crucial pour les images de portrait. Un réseau de traitement des déformations de pose est développé pour générer des déformations plausibles pour des régions difficiles telles que les cheveux longs. Les expériences montrent que notre méthode, entraînée sur des images 2D non structurées, peut générer des portraits 3D diversifiés et de haute qualité avec un contrôle souhaité sur différentes propriétés.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.