CLIP2Protect: Protección de la privacidad facial mediante maquillaje guiado por texto a través de búsqueda latente adversaria

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Autores: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Resumen

El éxito de los sistemas de reconocimiento facial basados en aprendizaje profundo ha dado lugar a serias preocupaciones sobre la privacidad debido a su capacidad para permitir el seguimiento no autorizado de usuarios en el mundo digital. Los métodos existentes para mejorar la privacidad no logran generar imágenes naturalistas que puedan proteger la privacidad facial sin comprometer la experiencia del usuario. Proponemos un enfoque novedoso de dos pasos para la protección de la privacidad facial que se basa en encontrar códigos latentes adversarios en el manifold de baja dimensión de un modelo generativo preentrenado. El primer paso invierte la imagen facial dada en el espacio latente y ajusta el modelo generativo para lograr una reconstrucción precisa de la imagen dada a partir de su código latente. Este paso produce una buena inicialización, ayudando a la generación de rostros de alta calidad que se asemejan a la identidad dada. Posteriormente, se utilizan indicaciones de texto de maquillaje definidas por el usuario y una regularización que preserva la identidad para guiar la búsqueda de códigos adversarios en el espacio latente. Experimentos extensos demuestran que los rostros generados por nuestro enfoque tienen una mayor transferibilidad en caja negra, con una ganancia absoluta del 12.06% sobre el enfoque más avanzado de protección de privacidad facial en la tarea de verificación de rostros. Finalmente, demostramos la efectividad del enfoque propuesto para sistemas comerciales de reconocimiento facial. Nuestro código está disponible en https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.