AniPortraitGAN: Генерация анимируемых 3D-портретов из коллекций 2D-изображений

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

September 5, 2023

Авторы: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong

cs.AI

Аннотация

Предыдущие анимируемые 3D-осознанные GAN для генерации человека в основном сосредотачивались либо на голове, либо на полном теле. Однако видео, содержащие только голову, относительно редки в реальной жизни, а генерация полного тела обычно не включает контроль над мимикой и по-прежнему сталкивается с трудностями в создании высококачественных результатов. В направлении создания применимых видеоаватаров мы представляем анимируемую 3D-осознанную GAN, которая генерирует портретные изображения с управляемой мимикой, позой головы и движениями плеч. Это генеративная модель, обученная на неструктурированных коллекциях 2D-изображений без использования 3D или видео данных. Для новой задачи мы основываем наш метод на генеративном представлении излучающего многообразия и оснащаем его обучаемыми деформациями лица и головы-плеч. Предложена схема рендеринга с использованием двух камер и состязательного обучения для повышения качества генерируемых лиц, что критически важно для портретных изображений. Разработана сеть обработки деформаций позы для создания правдоподобных деформаций в сложных областях, таких как длинные волосы. Эксперименты показывают, что наш метод, обученный на неструктурированных 2D-изображениях, способен генерировать разнообразные и высококачественные 3D-портреты с желаемым контролем над различными свойствами.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.