CLIP2Protect: Schutz der Gesichtsprivatsphäre durch textgesteuertes Make-up mittels adversarieller latenter Suche

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Autoren: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Zusammenfassung

Der Erfolg von Deep-Learning-basierten Gesichtserkennungssystemen hat ernsthafte Datenschutzbedenken aufgeworfen, da sie die unbefugte Verfolgung von Nutzern in der digitalen Welt ermöglichen. Bisherige Methoden zur Verbesserung des Datenschutzes scheitern daran, naturalistische Bilder zu erzeugen, die den Gesichtsdatenschutz gewährleisten, ohne die Benutzererfahrung zu beeinträchtigen. Wir schlagen einen neuartigen zweistufigen Ansatz zum Schutz der Gesichtsprivatheit vor, der auf der Suche nach adversariellen latenten Codes in der niedrigdimensionalen Mannigfaltigkeit eines vortrainierten generativen Modells basiert. Im ersten Schritt wird das gegebene Gesichtsbild in den latenten Raum invertiert und das generative Modell feinabgestimmt, um eine präzise Rekonstruktion des gegebenen Bildes aus seinem latenten Code zu erreichen. Dieser Schritt liefert eine gute Initialisierung, die die Erzeugung hochwertiger Gesichter unterstützt, die der gegebenen Identität ähneln. Anschließend werden benutzerdefinierte Make-up-Textprompts und identitätserhaltende Regularisierung verwendet, um die Suche nach adversariellen Codes im latenten Raum zu steuern. Umfangreiche Experimente zeigen, dass die mit unserem Ansatz erzeugten Gesichter eine stärkere Black-Box-Übertragbarkeit aufweisen, mit einem absoluten Gewinn von 12,06 % gegenüber dem aktuellsten Ansatz zum Schutz der Gesichtsprivatheit bei der Gesichtsverifikationsaufgabe. Schließlich demonstrieren wir die Wirksamkeit des vorgeschlagenen Ansatzes für kommerzielle Gesichtserkennungssysteme. Unser Code ist verfügbar unter https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.