私のタイムマシン：個人用顔年齢変換

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

著者: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

要旨

顔の老化は、性別、民族性、ライフスタイルなどの複数の要因に大きく依存する複雑なプロセスであり、個々の個人の老化を正確に予測するためには、グローバルな老化を学習することが非常に困難です。既存の技術はしばしば現実的であり、納得のいく老化結果を生み出しますが、再老化された画像はしばしば対象年齢での人物の外見に似ておらず、そのため個人化が必要です。映画やテレビ番組のVFXなど、仮想老化の多くの実用的な応用では、ユーザーの少なくとも50枚の画像を使用して、小さな時間間隔（20〜40年）での老化を描写した個人の写真コレクションにアクセスできることがよくあります。しかし、個人の写真コレクションでグローバルな老化技術を個人化する単純な試みはしばしば失敗します。このため、私たちはMyTimeMachine（MyTM）を提案します。これは、グローバルな老化事前情報と個人の写真コレクション（50枚の画像でも可能）を組み合わせて個人化された年齢変換を学習します。私たちは、個人化された老化特徴とグローバルな老化特徴を組み合わせ、StyleGAN2で再老化画像を生成する新しいアダプターネットワークを導入します。また、個人化された老化損失、外挿正則化、適応的なw-norm正則化を使用した3つの損失関数を導入します。私たちの手法は、ビデオにも拡張でき、高品質でアイデンティティを維持し、時間的に一貫した老化効果を実現し、対象年齢での実際の外見に似たものを示し、最先端のアプローチよりも優れていることを示しています。

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.