AniPortraitGAN: Animierbare 3D-Porträtgenerierung aus 2D-Bildsammlungen

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Autoren: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Zusammenfassung

Bisherige animierbare 3D-fähige GANs für die Erzeugung von menschlichen Darstellungen konzentrierten sich hauptsächlich entweder auf den Kopf oder den gesamten Körper. Allerdings sind Videos, die nur den Kopf zeigen, im realen Leben relativ unüblich, und die Erzeugung des gesamten Körpers befasst sich typischerweise nicht mit der Kontrolle von Gesichtsausdrücken und hat weiterhin Schwierigkeiten, hochwertige Ergebnisse zu erzielen. Im Hinblick auf anwendbare Videoavatare präsentieren wir ein animierbares 3D-fähiges GAN, das Porträtbilder mit kontrollierbaren Gesichtsausdrücken, Kopfhaltungen und Schulterbewegungen erzeugt. Es handelt sich um ein generatives Modell, das auf unstrukturierten 2D-Bildsammlungen trainiert wurde, ohne 3D- oder Videodaten zu verwenden. Für diese neue Aufgabe basieren wir unsere Methode auf der generativen Radiance-Manifold-Darstellung und statten sie mit erlernbaren Gesichts- und Kopf-Schulter-Deformationen aus. Ein Dual-Kamera-Rendering und ein adversarielles Lernschema werden vorgeschlagen, um die Qualität der erzeugten Gesichter zu verbessern, was für Porträtbilder entscheidend ist. Ein Netzwerk zur Verarbeitung von Pose-Deformationen wurde entwickelt, um plausible Deformationen für anspruchsvolle Regionen wie langes Haar zu erzeugen. Experimente zeigen, dass unsere Methode, die auf unstrukturierten 2D-Bildern trainiert wurde, vielfältige und hochwertige 3D-Porträts mit gewünschter Kontrolle über verschiedene Eigenschaften erzeugen kann.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.