FlashFace : Personnalisation d'images humaines avec préservation haute fidélité de l'identité

FlashFace: Human Image Personalization with High-fidelity Identity Preservation

March 25, 2024

Auteurs: Shilong Zhang, Lianghua Huang, Xi Chen, Yifei Zhang, Zhi-Fan Wu, Yutong Feng, Wei Wang, Yujun Shen, Yu Liu, Ping Luo

cs.AI

Résumé

Ce travail présente FlashFace, un outil pratique permettant aux utilisateurs de personnaliser facilement leurs propres photos à la volée en fournissant une ou plusieurs images de référence de visage ainsi qu'une invite textuelle. Notre approche se distingue des méthodes existantes de personnalisation de photos humaines par une préservation d'identité de plus haute fidélité et un meilleur suivi des instructions, grâce à deux conceptions subtiles. Premièrement, nous encodons l'identité du visage dans une série de cartes de caractéristiques plutôt qu'en un seul jeton d'image comme dans les travaux précédents, permettant au modèle de conserver davantage de détails des visages de référence (par exemple, cicatrices, tatouages et forme du visage). Deuxièmement, nous introduisons une stratégie d'intégration désentrelacée pour équilibrer le guidage textuel et visuel lors du processus de génération d'images à partir de texte, atténuant ainsi le conflit entre les visages de référence et les invites textuelles (par exemple, personnaliser un adulte en "enfant" ou en "personne âgée"). Les résultats expérimentaux approfondis démontrent l'efficacité de notre méthode dans diverses applications, notamment la personnalisation d'images humaines, l'échange de visages sous des invites linguistiques, la transformation de personnages virtuels en personnes réelles, etc. Page du projet : https://jshilong.github.io/flashface-page.

English

This work presents FlashFace, a practical tool with which users can easily personalize their own photos on the fly by providing one or a few reference face images and a text prompt. Our approach is distinguishable from existing human photo customization methods by higher-fidelity identity preservation and better instruction following, benefiting from two subtle designs. First, we encode the face identity into a series of feature maps instead of one image token as in prior arts, allowing the model to retain more details of the reference faces (e.g., scars, tattoos, and face shape ). Second, we introduce a disentangled integration strategy to balance the text and image guidance during the text-to-image generation process, alleviating the conflict between the reference faces and the text prompts (e.g., personalizing an adult into a "child" or an "elder"). Extensive experimental results demonstrate the effectiveness of our method on various applications, including human image personalization, face swapping under language prompts, making virtual characters into real people, etc. Project Page: https://jshilong.github.io/flashface-page.