MijnTijdmachine: Gepersonaliseerde Gezichtsverouderingstransformatie

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Auteurs: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Samenvatting

Gezichtsveroudering is een complex proces, sterk afhankelijk van meerdere factoren zoals geslacht, etniciteit, levensstijl, enz., waardoor het uiterst uitdagend is om een wereldwijde veroudering te leren om veroudering voor een individu nauwkeurig te voorspellen. Bestaande technieken produceren vaak realistische en plausibele verouderingsresultaten, maar de verouderde afbeeldingen lijken vaak niet op het uiterlijk van de persoon op de doelleeftijd en hebben daarom personalisatie nodig. In veel praktische toepassingen van virtuele veroudering, bijvoorbeeld VFX in films en tv-shows, is vaak toegang tot een persoonlijke fotocollectie van de gebruiker die veroudering in een kleine tijdsinterval (20 tot 40 jaar) afbeeldt, beschikbaar. Echter, naïeve pogingen om wereldwijde verouderingstechnieken te personaliseren op persoonlijke fotocollecties mislukken vaak. Daarom stellen we MyTimeMachine (MyTM) voor, die een wereldwijde veroudering prior combineert met een persoonlijke fotocollectie (met slechts 50 afbeeldingen) om een gepersonaliseerde leeftijdstransformatie te leren. We introduceren een nieuw Adapter Netwerk dat gepersonaliseerde verouderingskenmerken combineert met wereldwijde verouderingskenmerken en een verouderde afbeelding genereert met behulp van StyleGAN2. We introduceren ook drie verliesfuncties om het Adapter Netwerk te personaliseren met gepersonaliseerd verlies bij veroudering, extrapolatie regularisatie en adaptieve w-norm regularisatie. Onze benadering kan ook worden uitgebreid naar video's, waarbij hoogwaardige, identiteitsbehoudende en temporeel consistente verouderingseffecten worden bereikt die lijken op daadwerkelijke verschijningen op doelleeftijden, waarbij de superioriteit boven state-of-the-art benaderingen wordt aangetoond.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.