Mi Máquina del Tiempo: Transformación Personalizada de Edad Facial

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Autores: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Resumen

El envejecimiento facial es un proceso complejo, altamente dependiente de múltiples factores como el género, la etnia, el estilo de vida, etc., lo que lo hace extremadamente desafiante aprender un envejecimiento global previo para predecir el envejecimiento de manera precisa para cualquier individuo. Las técnicas existentes a menudo producen resultados de envejecimiento realistas y plausibles, pero las imágenes rejuvenecidas a menudo no se asemejan a la apariencia de la persona en la edad objetivo y, por lo tanto, necesitan personalización. En muchas aplicaciones prácticas de envejecimiento virtual, por ejemplo en efectos visuales en películas y programas de televisión, suele estar disponible un conjunto de fotos personales del usuario que representan el envejecimiento en un pequeño intervalo de tiempo (20 a 40 años). Sin embargo, los intentos ingenuos de personalizar técnicas de envejecimiento global en colecciones de fotos personales a menudo fracasan. Por lo tanto, proponemos MyTimeMachine (MyTM), que combina un envejecimiento global previo con una colección de fotos personales (usando tan solo 50 imágenes) para aprender una transformación de edad personalizada. Introducimos una Red Adaptadora novedosa que combina características de envejecimiento personalizadas con características de envejecimiento global y genera una imagen rejuvenecida con StyleGAN2. También presentamos tres funciones de pérdida para personalizar la Red Adaptadora con pérdida de envejecimiento personalizada, regularización de extrapolación y regularización adaptativa de w-norma. Nuestro enfoque también puede extenderse a videos, logrando efectos de envejecimiento de alta calidad, que conservan la identidad y son temporalmente consistentes, asemejándose a las apariencias reales en las edades objetivo, demostrando su superioridad sobre los enfoques de vanguardia.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.