AniPortraitGAN: Generazione di Ritratti 3D Animabili da Collezioni di Immagini 2D

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Autori: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Abstract

I precedenti GAN 3D animabili per la generazione di esseri umani si sono principalmente concentrati sulla testa o sull'intero corpo. Tuttavia, i video che mostrano solo la testa sono relativamente rari nella vita reale, e la generazione dell'intero corpo tipicamente non gestisce il controllo delle espressioni facciali e presenta ancora sfide nel produrre risultati di alta qualità. Verso avatar video applicabili, presentiamo un GAN 3D animabile che genera immagini ritratto con controllo sulle espressioni facciali, la posa della testa e i movimenti delle spalle. Si tratta di un modello generativo addestrato su collezioni di immagini 2D non strutturate senza l'uso di dati 3D o video. Per il nuovo compito, basiamo il nostro metodo sulla rappresentazione del manifold di radianza generativa e lo dotiamo di deformazioni apprendibili per il viso e la testa-spalle. Viene proposto uno schema di rendering a doppia telecamera e apprendimento avversario per migliorare la qualità dei volti generati, aspetto critico per le immagini ritratto. Una rete di elaborazione delle deformazioni della posa è sviluppata per generare deformazioni plausibili per regioni complesse come i capelli lunghi. Gli esperimenti mostrano che il nostro metodo, addestrato su immagini 2D non strutturate, può generare ritratti 3D diversificati e di alta qualità con il controllo desiderato su diverse proprietà.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.