AniPortraitGAN: Generación de Retratos 3D Animables a partir de Colecciones de Imágenes 2D

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Autores: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Resumen

Los GANs 3D animables anteriores para la generación de humanos se han centrado principalmente en la cabeza o en el cuerpo completo. Sin embargo, los videos que solo muestran la cabeza son relativamente poco comunes en la vida real, y la generación del cuerpo completo generalmente no aborda el control de las expresiones faciales y aún enfrenta desafíos para producir resultados de alta calidad. Hacia la creación de avatares de video aplicables, presentamos un GAN 3D animable que genera imágenes de retrato con control sobre las expresiones faciales, la pose de la cabeza y los movimientos de los hombros. Se trata de un modelo generativo entrenado en colecciones de imágenes 2D no estructuradas sin utilizar datos 3D o de video. Para esta nueva tarea, basamos nuestro método en la representación de la variedad de radiancia generativa y lo equipamos con deformaciones aprendibles para la cara y la cabeza-hombros. Se propone un esquema de renderizado con cámara dual y aprendizaje adversarial para mejorar la calidad de las caras generadas, lo cual es crítico para las imágenes de retrato. Se desarrolla una red de procesamiento de deformaciones de pose para generar deformaciones plausibles en regiones desafiantes como el cabello largo. Los experimentos muestran que nuestro método, entrenado con imágenes 2D no estructuradas, puede generar retratos 3D diversos y de alta calidad con el control deseado sobre diferentes propiedades.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.