CLIP2Protect : Protection de la vie privée faciale grâce à un maquillage guidé par texte via une recherche latente adversarial

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Auteurs: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Résumé

Le succès des systèmes de reconnaissance faciale basés sur l'apprentissage profond a suscité de sérieuses préoccupations en matière de vie privée en raison de leur capacité à permettre un suivi non autorisé des utilisateurs dans le monde numérique. Les méthodes existantes pour renforcer la confidentialité échouent à générer des images naturalistes capables de protéger la vie privée faciale sans compromettre l'expérience utilisateur. Nous proposons une nouvelle approche en deux étapes pour la protection de la vie privée faciale, qui repose sur la recherche de codes adverses dans la variété de faible dimension d'un modèle génératif pré-entraîné. La première étape inverse l'image faciale donnée dans l'espace latent et affine le modèle génératif pour obtenir une reconstruction précise de l'image à partir de son code latent. Cette étape produit une bonne initialisation, facilitant la génération de visages de haute qualité ressemblant à l'identité donnée. Par la suite, des invites textuelles de maquillage définies par l'utilisateur et une régularisation préservant l'identité sont utilisées pour guider la recherche de codes adverses dans l'espace latent. Des expériences approfondies démontrent que les visages générés par notre approche ont une transférabilité en boîte noire plus forte, avec un gain absolu de 12,06 % par rapport à l'approche de pointe en matière de protection de la vie privée faciale dans le cadre de la tâche de vérification faciale. Enfin, nous démontrons l'efficacité de l'approche proposée pour les systèmes commerciaux de reconnaissance faciale. Notre code est disponible à l'adresse https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.