PERSE: Gepersonaliseerde 3D Generatieve Avatars vanuit een Enkel Portret

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Auteurs: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Samenvatting

We presenteren PERSE, een methode voor het bouwen van een animeerbaar gepersonaliseerd generatief avatar vanuit een referentieportret. Ons avatarmodel maakt het bewerken van gezichtskenmerken mogelijk in een continue en ontkoppeld latente ruimte om elk gezichtskenmerk te controleren, terwijl de identiteit van het individu behouden blijft. Om dit te bereiken, begint onze methode met het synthetiseren van grootschalige synthetische 2D video datasets, waarbij elke video consistente veranderingen in de gezichtsuitdrukking en het gezichtspunt bevat, gecombineerd met een variatie in een specifiek gezichtskenmerk van de oorspronkelijke invoer. We stellen een nieuw proces voor om hoogwaardige, fotorealistische 2D video's te produceren met bewerking van gezichtskenmerken. Door gebruik te maken van deze synthetische attribuutdataset, presenteren we een methode voor het creëren van gepersonaliseerde avatars op basis van de 3D Gaussische Splatting, waarbij een continue en ontkoppelde latente ruimte wordt geleerd voor intuïtieve manipulatie van gezichtskenmerken. Om soepele overgangen in deze latente ruimte af te dwingen, introduceren we een techniek voor regulering van de latente ruimte door gebruik te maken van geïnterpoleerde 2D gezichten als supervisie. In vergelijking met eerdere benaderingen tonen we aan dat PERSE hoogwaardige avatars genereert met geïnterpoleerde kenmerken, terwijl de identiteit van de referentiepersoon behouden blijft.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.