Meine Zeitmaschine: Personalisierte Gesichtsalterstransformation

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Autoren: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Zusammenfassung

Die Gesichtsalterung ist ein komplexer Prozess, der stark von mehreren Faktoren wie Geschlecht, Ethnizität, Lebensstil usw. abhängt, was es äußerst herausfordernd macht, ein globales Alterungsmodell zu erlernen, um das Altern für jede Person genau vorherzusagen. Bestehende Techniken erzeugen oft realistische und plausible Alterungsergebnisse, aber die verjüngten Bilder ähneln oft nicht dem Erscheinungsbild der Person im Zieltalter und erfordern daher eine Personalisierung. In vielen praktischen Anwendungen der virtuellen Alterung, z.B. VFX in Filmen und TV-Serien, ist oft ein Zugriff auf eine persönliche Fotosammlung des Benutzers verfügbar, die eine Alterung in einem kurzen Zeitintervall (20 bis 40 Jahre) zeigt. Naive Versuche, globale Alterungstechniken auf persönliche Fotosammlungen zu personalisieren, scheitern jedoch oft. Daher schlagen wir MyTimeMachine (MyTM) vor, das ein globales Alterungsmodell mit einer persönlichen Fotosammlung (unter Verwendung von nur 50 Bildern) kombiniert, um eine personalisierte Altersumwandlung zu erlernen. Wir stellen ein neuartiges Adapter-Netzwerk vor, das personalisierte Alterungseigenschaften mit globalen Alterungseigenschaften kombiniert und ein verjüngtes Bild mit StyleGAN2 erzeugt. Wir führen auch drei Verlustfunktionen ein, um das Adapter-Netzwerk mit personalisiertem Alterungsverlust, Extrapolationsregularisierung und adaptiver w-Norm-Regularisierung zu personalisieren. Unser Ansatz kann auch auf Videos erweitert werden und erreicht hochwertige, identitätserhaltende und zeitlich konsistente Alterungseffekte, die tatsächlichen Erscheinungsbildern im Zieltalter ähneln und damit seine Überlegenheit gegenüber State-of-the-Art-Ansätzen zeigen.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.