CLIP2Protect: Bescherming van gezichtsprivacy met tekstgeleide make-up via Adversariale Latente Zoektocht

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Auteurs: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Samenvatting

Het succes van deep learning-gebaseerde gezichtsherkenningssystemen heeft geleid tot ernstige privacyzorgen vanwege hun vermogen om ongeautoriseerde tracking van gebruikers in de digitale wereld mogelijk te maken. Bestaande methoden voor het verbeteren van de privacy slagen er niet in om naturalistische afbeeldingen te genereren die gezichtsprivacy kunnen beschermen zonder de gebruikerservaring aan te tasten. Wij stellen een nieuwe tweestapsaanpak voor voor gezichtsprivacybescherming die vertrouwt op het vinden van adversariële latente codes in de laagdimensionale variëteit van een vooraf getraind generatief model. De eerste stap keert het gegeven gezichtsbeeld om in de latente ruimte en finetunt het generatieve model om een nauwkeurige reconstructie van het gegeven beeld uit zijn latente code te bereiken. Deze stap produceert een goede initialisatie, wat helpt bij het genereren van hoogwaardige gezichten die lijken op de gegeven identiteit. Vervolgens worden door de gebruiker gedefinieerde make-uptekstprompts en identiteitsbehoudende regularisatie gebruikt om de zoektocht naar adversariële codes in de latente ruimte te begeleiden. Uitgebreide experimenten tonen aan dat gezichten die door onze aanpak worden gegenereerd een sterkere black-box overdraagbaarheid hebben, met een absolute winst van 12,06% ten opzichte van de state-of-the-art aanpak voor gezichtsprivacybescherming onder de gezichtsverificatietaak. Tot slot demonstreren we de effectiviteit van de voorgestelde aanpak voor commerciële gezichtsherkenningssystemen. Onze code is beschikbaar op https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.