PERSE: Avatares Generativos 3D Personalizados a partir de un Único Retrato

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Autores: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Resumen

Presentamos PERSE, un método para construir un avatar generativo animable y personalizado a partir de un retrato de referencia. Nuestro modelo de avatar permite la edición de atributos faciales en un espacio latente continuo y desentrelazado para controlar cada atributo facial, preservando al mismo tiempo la identidad del individuo. Para lograr esto, nuestro método comienza sintetizando conjuntos de datos de video 2D sintéticos a gran escala, donde cada video contiene cambios consistentes en la expresión facial y el punto de vista, combinados con una variación en un atributo facial específico del input original. Proponemos un nuevo proceso para producir videos 2D fotorrealistas de alta calidad con edición de atributos faciales. Aprovechando este conjunto de datos sintéticos de atributos, presentamos un método de creación de avatar personalizado basado en el método de Splatting Gaussiano 3D, aprendiendo un espacio latente continuo y desentrelazado para la manipulación intuitiva de atributos faciales. Para garantizar transiciones suaves en este espacio latente, introducimos una técnica de regularización del espacio latente utilizando rostros 2D interpolados como supervisión. En comparación con enfoques anteriores, demostramos que PERSE genera avatares de alta calidad con atributos interpolados, preservando la identidad de la persona de referencia.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.