CLIP2Protect: Protezione della Privacy Facciale attraverso il Trucco Guidato da Testo mediante Ricerca Adversariale nello Spazio Latente

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Autori: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Abstract

Il successo dei sistemi di riconoscimento facciale basati sul deep learning ha sollevato serie preoccupazioni in materia di privacy, a causa della loro capacità di consentire il tracciamento non autorizzato degli utenti nel mondo digitale. I metodi esistenti per migliorare la privacy non riescono a generare immagini naturalistiche in grado di proteggere la privacy facciale senza compromettere l'esperienza dell'utente. Proponiamo un nuovo approccio in due fasi per la protezione della privacy facciale che si basa sulla ricerca di codici avversari nel manifold a bassa dimensione di un modello generativo preaddestrato. La prima fase inverte l'immagine facciale data nello spazio latente e perfeziona il modello generativo per ottenere una ricostruzione accurata dell'immagine data a partire dal suo codice latente. Questo passaggio produce una buona inizializzazione, favorendo la generazione di volti di alta qualità che assomigliano all'identità data. Successivamente, prompt testuali di trucco definiti dall'utente e una regolarizzazione che preserva l'identità vengono utilizzati per guidare la ricerca di codici avversari nello spazio latente. Esperimenti estesi dimostrano che i volti generati dal nostro approccio hanno una maggiore trasferibilità in contesti black-box, con un guadagno assoluto del 12,06% rispetto allo stato dell'arte nell'approccio di protezione della privacy facciale sotto il compito di verifica facciale. Infine, dimostriamo l'efficacia dell'approccio proposto per i sistemi commerciali di riconoscimento facciale. Il nostro codice è disponibile all'indirizzo https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.