Мой Временной Аппарат: Индивидуализированное Преобразование Возраста Лица

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Авторы: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Аннотация

Старение лица - это сложный процесс, сильно зависящий от множества факторов, таких как пол, этническая принадлежность, образ жизни и т. д., что делает его чрезвычайно сложным для изучения глобального старения с целью точного прогнозирования старения для любого индивида. Существующие техники часто производят реалистичные и правдоподобные результаты старения, однако переотображенные изображения часто не похожи на внешность человека в целевом возрасте и, следовательно, требуют персонализации. Во многих практических применениях виртуального старения, например, в визуальных эффектах в кино и телешоу, доступ к личной фотоколлекции пользователя, отражающей старение в небольшом временном интервале (20-40 лет), часто доступен. Однако наивные попытки персонализировать глобальные техники старения на личных фотоколлекциях часто оказываются неудачными. Поэтому мы предлагаем MyTimeMachine (MyTM), который объединяет глобальное старение с личной фотоколлекцией (используя всего 50 изображений) для изучения персонализированного преобразования возраста. Мы представляем новую сеть адаптеров, которая объединяет персонализированные признаки старения с глобальными признаками старения и генерирует переотображенное изображение с использованием StyleGAN2. Мы также вводим три функции потерь для персонализации сети адаптеров с потерей персонализированного старения, регуляризацией экстраполяции и адаптивной регуляризацией w-нормы. Наш подход также может быть расширен на видео, достигая высококачественных, сохраняющих идентичность и временно согласованных эффектов старения, которые напоминают реальный внешний вид в целевые возрасты, демонстрируя его превосходство над современными подходами.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.