MinhaMáquinaDoTempo: Transformação Personalizada de Idade Facial

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Autores: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Resumo

O envelhecimento facial é um processo complexo, altamente dependente de múltiplos fatores como gênero, etnia, estilo de vida, etc., tornando extremamente desafiador aprender um envelhecimento global anterior para prever o envelhecimento de qualquer indivíduo com precisão. As técnicas existentes frequentemente produzem resultados de envelhecimento realistas e plausíveis, mas as imagens reenvelhecidas frequentemente não se assemelham à aparência da pessoa na idade-alvo e, portanto, necessitam de personalização. Em muitas aplicações práticas de envelhecimento virtual, por exemplo, VFX em filmes e programas de TV, o acesso a uma coleção de fotos pessoais do usuário retratando o envelhecimento em um pequeno intervalo de tempo (20 a 40 anos) geralmente está disponível. No entanto, tentativas ingênuas de personalizar técnicas de envelhecimento global em coleções de fotos pessoais frequentemente falham. Portanto, propomos MyTimeMachine (MyTM), que combina um envelhecimento global anterior com uma coleção de fotos pessoais (usando tão poucas quanto 50 imagens) para aprender uma transformação de idade personalizada. Introduzimos uma Rede Adaptadora inovadora que combina características de envelhecimento personalizadas com características de envelhecimento global e gera uma imagem reenvelhecida com o StyleGAN2. Também introduzimos três funções de perda para personalizar a Rede Adaptadora com perda de envelhecimento personalizada, regularização de extrapolação e regularização adaptativa de w-norma. Nossa abordagem também pode ser estendida a vídeos, alcançando efeitos de envelhecimento de alta qualidade, preservando a identidade e consistentes temporalmente, que se assemelham às aparências reais nas idades-alvo, demonstrando sua superioridade em relação às abordagens de ponta.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.