CLIP2Protect: Protegendo a Privacidade Facial com Maquiagem Guiada por Texto via Busca Adversarial em Espaço Latente

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Autores: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Resumo

O sucesso dos sistemas de reconhecimento facial baseados em aprendizado profundo tem gerado sérias preocupações com a privacidade devido à sua capacidade de permitir o rastreamento não autorizado de usuários no mundo digital. Os métodos existentes para aprimorar a privacidade falham em gerar imagens naturalistas que possam proteger a privacidade facial sem comprometer a experiência do usuário. Propomos uma nova abordagem em duas etapas para a proteção da privacidade facial que se baseia na busca por códigos latentes adversariais no manifold de baixa dimensão de um modelo generativo pré-treinado. A primeira etapa inverte a imagem facial fornecida para o espaço latente e ajusta o modelo generativo para alcançar uma reconstrução precisa da imagem fornecida a partir de seu código latente. Essa etapa produz uma boa inicialização, auxiliando a geração de faces de alta qualidade que se assemelham à identidade fornecida. Posteriormente, prompts de texto de maquiagem definidos pelo usuário e regularização de preservação de identidade são usados para guiar a busca por códigos adversariais no espaço latente. Experimentos extensivos demonstram que as faces geradas por nossa abordagem têm uma transferibilidade de caixa-preta mais forte, com um ganho absoluto de 12,06% em relação à abordagem state-of-the-art de proteção de privacidade facial na tarefa de verificação facial. Por fim, demonstramos a eficácia da abordagem proposta para sistemas comerciais de reconhecimento facial. Nosso código está disponível em https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.