CLIP2Protect: テキストガイドによるメイクアップを用いた顔のプライバシー保護 - 敵対的潜在探索によるアプローチ

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

著者: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

要旨

深層学習に基づく顔認識システムの成功は、デジタル世界におけるユーザーの無許可追跡を可能にする能力から、深刻なプライバシー懸念を引き起こしています。既存のプライバシー強化手法は、ユーザーエクスペリエンスを損なうことなく顔のプライバシーを保護できる自然な画像を生成することができません。本論文では、事前学習済み生成モデルの低次元多様体内で敵対的潜在コードを見つけることに依存する、新しい2段階の顔プライバシー保護アプローチを提案します。最初のステップでは、与えられた顔画像を潜在空間に反転させ、生成モデルを微調整して、潜在コードから与えられた画像の正確な再構成を実現します。このステップにより、与えられたIDに似た高品質な顔を生成するための良好な初期化が行われます。その後、ユーザー定義のメイクアップテキストプロンプトとID保存正則化を使用して、潜在空間内での敵対的コードの探索をガイドします。大規模な実験により、我々のアプローチによって生成された顔は、顔認証タスクにおいて最先端の顔プライバシー保護アプローチに対して12.06%の絶対的な向上を示す、より強力なブラックボックス転移性を持つことが実証されました。最後に、商用顔認識システムに対する提案アプローチの有効性を示します。我々のコードはhttps://github.com/fahadshamshad/Clip2Protectで公開されています。

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.