나의 시간 기계: 개인화된 얼굴 연령 변환

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

저자: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

초록

얼굴 노화는 성별, 인종, 생활 방식 등 다양한 요소에 매우 의존적인 복잡한 과정으로, 어떤 개인에 대한 노화를 정확하게 예측하기 위한 전역적인 노화를 학습하는 것은 매우 어려운 과제입니다. 기존 기술은 현실적이고 타당한 노화 결과를 종종 제공하지만, 재노화된 이미지는 종종 대상 연령에서의 개인의 외모와 닮지 않아 개인화가 필요합니다. 영화와 TV 프로그램의 VFX와 같은 가상 노화의 많은 실용적인 응용 분야에서 사용자의 소규모 시간 간격(20-40년)에 걸친 노화를 묘사하는 개인 사진 컬렉션에 접근할 수 있습니다. 그러나 개인 사진 컬렉션에 전역적인 노화 기술을 개인화하는 단순한 시도는 종종 실패합니다. 따라서 우리는 MyTimeMachine(MyTM)을 제안합니다. 이는 전역적인 노화 우선순위를 개인 사진 컬렉션(50장 이상 사용)과 결합하여 개인화된 연령 변환을 학습합니다. 우리는 개인화된 노화 특징과 전역적인 노화 특징을 결합하여 새로운 어댑터 네트워크를 소개하고 StyleGAN2로 재노화된 이미지를 생성합니다. 또한 개인화된 노화 손실, 외삽법 규제 및 적응형 w-노름 규제와 같은 세 가지 손실 함수를 소개하여 어댑터 네트워크를 개인화합니다. 우리의 방법은 비디오로 확장할 수 있으며, 실제 외모를 닮은 고품질, 신원 보존 및 시간적 일관성 있는 노화 효과를 달성하여 대상 연령에서의 실제 외모를 닮은 상태 최신 기술 접근법보다 우수함을 입증합니다.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.