AniPortraitGAN: Geração de Retratos 3D Animáveis a partir de Coleções de Imagens 2D

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Autores: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Resumo

GANs 3D animáveis anteriores para geração de humanos focaram principalmente ou na cabeça ou no corpo inteiro. No entanto, vídeos apenas da cabeça são relativamente incomuns na vida real, e a geração do corpo inteiro geralmente não lida com o controle de expressões faciais e ainda enfrenta desafios na geração de resultados de alta qualidade. Visando avatares de vídeo aplicáveis, apresentamos uma GAN 3D animável que gera imagens de retrato com controle de expressão facial, pose da cabeça e movimentos dos ombros. É um modelo generativo treinado em coleções de imagens 2D não estruturadas sem o uso de dados 3D ou de vídeo. Para a nova tarefa, baseamos nosso método na representação de variedade de radiância generativa e a equipamos com deformações faciais e cabeça-ombros aprendíveis. Um esquema de renderização com câmera dupla e aprendizado adversário é proposto para melhorar a qualidade das faces geradas, o que é crítico para imagens de retrato. Uma rede de processamento de deformação de pose é desenvolvida para gerar deformações plausíveis em regiões desafiadoras, como cabelos longos. Experimentos mostram que nosso método, treinado em imagens 2D não estruturadas, pode gerar retratos 3D diversos e de alta qualidade com controle desejado sobre diferentes propriedades.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.