PERSE : Avatars 3D génératifs personnalisés à partir d'un seul portrait

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Auteurs: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Résumé

Nous présentons PERSE, une méthode pour construire un avatar génératif personnalisé et animable à partir d'un portrait de référence. Notre modèle d'avatar permet la modification des attributs faciaux dans un espace latent continu et désentrelacé pour contrôler chaque attribut facial, tout en préservant l'identité de l'individu. Pour ce faire, notre méthode commence par la synthèse de vastes ensembles de données vidéo 2D synthétiques, où chaque vidéo contient des changements cohérents dans l'expression faciale et le point de vue, combinés à une variation d'un attribut facial spécifique de l'entrée d'origine. Nous proposons un nouveau processus pour produire des vidéos 2D photoréalistes de haute qualité avec modification des attributs faciaux. En exploitant cet ensemble de données d'attributs synthétiques, nous présentons une méthode de création d'avatar personnalisé basée sur le Gaussian Splatting en 3D, apprenant un espace latent continu et désentrelacé pour une manipulation intuitive des attributs faciaux. Pour garantir des transitions fluides dans cet espace latent, nous introduisons une technique de régularisation de l'espace latent en utilisant des visages 2D interpolés comme supervision. Comparé aux approches précédentes, nous démontrons que PERSE génère des avatars de haute qualité avec des attributs interpolés tout en préservant l'identité de la personne de référence.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.