AniPortraitGAN: 2D 이미지 컬렉션에서 애니메이션 가능한 3D 초상화 생성

초록

기존의 인간 생성용 애니메이션 가능 3D 인식 GAN은 주로 인간의 머리 또는 전신에 초점을 맞추어 왔습니다. 그러나 머리만 포함된 비디오는 실제 생활에서 비교적 드물며, 전신 생성은 일반적으로 표정 제어를 다루지 않으며 여전히 고품질 결과를 생성하는 데 어려움이 있습니다. 적용 가능한 비디오 아바타를 위해, 우리는 제어 가능한 표정, 머리 포즈, 어깨 움직임을 포함한 초상화 이미지를 생성하는 애니메이션 가능 3D 인식 GAN을 제시합니다. 이는 3D 또는 비디오 데이터를 사용하지 않고 비정형 2D 이미지 컬렉션으로 훈련된 생성 모델입니다. 새로운 작업을 위해, 우리는 생성적 방사형 매니폴드 표현을 기반으로 하여 학습 가능한 얼굴 및 머리-어깨 변형을 장착했습니다. 생성된 얼굴의 품질을 향상시키기 위해 이중 카메라 렌더링 및 적대적 학습 기법을 제안했으며, 이는 초상화 이미지에 있어 매우 중요합니다. 긴 머리와 같은 도전적인 영역에 대해 그럴듯한 변형을 생성하기 위해 포즈 변형 처리 네트워크를 개발했습니다. 실험 결과, 비정형 2D 이미지로 훈련된 우리의 방법이 다양한 속성에 대한 원하는 제어와 함께 다양하고 고품질의 3D 초상화를 생성할 수 있음을 보여줍니다.

English

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.

AniPortraitGAN: 2D 이미지 컬렉션에서 애니메이션 가능한 3D 초상화 생성

AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

초록

Support