MaMachineTemporelle : Transformation Personnalisée de l'Âge Facial

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Auteurs: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Résumé

Le vieillissement facial est un processus complexe, fortement dépendant de multiples facteurs tels que le genre, l'ethnie, le mode de vie, etc., ce qui rend extrêmement difficile d'apprendre un vieillissement global pour prédire le vieillissement de manière précise pour un individu quelconque. Les techniques existantes produisent souvent des résultats de vieillissement réalistes et plausibles, mais les images rajeunies ne ressemblent souvent pas à l'apparence de la personne à l'âge cible et nécessitent donc une personnalisation. Dans de nombreuses applications pratiques de vieillissement virtuel, par exemple dans les effets visuels (VFX) des films et des émissions de télévision, un accès à une collection de photos personnelles de l'utilisateur représentant le vieillissement sur un petit intervalle de temps (20 à 40 ans) est souvent disponible. Cependant, les tentatives naïves de personnaliser les techniques de vieillissement global sur des collections de photos personnelles échouent souvent. Ainsi, nous proposons MyTimeMachine (MyTM), qui combine un vieillissement global préalable avec une collection de photos personnelles (en utilisant aussi peu que 50 images) pour apprendre une transformation d'âge personnalisée. Nous introduisons un nouveau Réseau Adaptateur qui combine des caractéristiques de vieillissement personnalisées avec des caractéristiques de vieillissement global et génère une image rajeunie avec StyleGAN2. Nous introduisons également trois fonctions de perte pour personnaliser le Réseau Adaptateur avec une perte de vieillissement personnalisée, une régularisation d'extrapolation et une régularisation adaptative de la norme w. Notre approche peut également être étendue aux vidéos, atteignant des effets de vieillissement de haute qualité, préservant l'identité et temporellement cohérents qui ressemblent aux apparences réelles aux âges cibles, démontrant sa supériorité par rapport aux approches de pointe.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.