CLIP2Protect: Защита приватности лица с помощью текстово-управляемого макияжа через поиск в адверсариальных латентных пространствах

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

Авторы: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

Аннотация

Успех систем распознавания лиц на основе глубокого обучения вызвал серьезные опасения относительно конфиденциальности из-за их способности обеспечивать несанкционированное отслеживание пользователей в цифровом мире. Существующие методы повышения конфиденциальности не способны генерировать реалистичные изображения, которые могли бы защитить личную информацию, не ухудшая при этом пользовательский опыт. Мы предлагаем новый двухэтапный подход для защиты конфиденциальности лица, который основан на поиске состязательных латентных кодов в низкоразмерном многообразии предварительно обученной генеративной модели. На первом этапе изображение лица инвертируется в латентное пространство, а генеративная модель дообучается для достижения точной реконструкции исходного изображения из его латентного кода. Этот этап обеспечивает хорошую инициализацию, способствуя генерации высококачественных лиц, похожих на заданную идентичность. Затем текстовые подсказки, заданные пользователем для макияжа, и регуляризация, сохраняющая идентичность, используются для поиска состязательных кодов в латентном пространстве. Многочисленные эксперименты показывают, что лица, сгенерированные нашим подходом, обладают более высокой способностью к переносу в условиях "черного ящика" с абсолютным приростом на 12,06% по сравнению с современным методом защиты конфиденциальности лица в задаче верификации лиц. Наконец, мы демонстрируем эффективность предложенного подхода для коммерческих систем распознавания лиц. Наш код доступен по адресу https://github.com/fahadshamshad/Clip2Protect.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.