AniPortraitGAN: Animeerbare 3D-portretgeneratie uit 2D-beeldcollecties

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Auteurs: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Samenvatting

Eerdere animeerbare 3D-bewuste GAN's voor het genereren van mensen richtten zich voornamelijk op het menselijk hoofd of het volledige lichaam. Hoofdvideo's komen echter relatief weinig voor in het echte leven, en het genereren van het volledige lichaam houdt zich meestal niet bezig met gezichtsuitdrukkingen en heeft nog steeds uitdagingen bij het produceren van hoogwaardige resultaten. Met het oog op toepasbare video-avatars presenteren wij een animeerbare 3D-bewuste GAN die portretbeelden genereert met controleerbare gezichtsuitdrukkingen, hoofdpositie en schouderbewegingen. Het is een generatief model dat getraind is op ongestructureerde 2D-beeldcollecties zonder gebruik te maken van 3D- of videogegevens. Voor deze nieuwe taak baseren we onze methode op de generatieve radiance manifold-representatie en voorzien we deze van leerbare gezichts- en hoofd-schoudervervormingen. Een dual-camera rendering en adversarial learning-schema wordt voorgesteld om de kwaliteit van de gegenereerde gezichten te verbeteren, wat cruciaal is voor portretbeelden. Een pose deformation processing-netwerk is ontwikkeld om plausibele vervormingen te genereren voor uitdagende regio's zoals lang haar. Experimenten tonen aan dat onze methode, getraind op ongestructureerde 2D-beelden, diverse en hoogwaardige 3D-portretten kan genereren met de gewenste controle over verschillende eigenschappen.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.