CLIP2Protect: 텍스트 기반 메이크업을 통한 적대적 잠재 공간 탐색을 이용한 얼굴 프라이버시 보호

CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

June 16, 2023

저자: Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar

cs.AI

초록

딥러닝 기반 얼굴 인식 시스템의 성공은 디지털 세계에서 사용자의 무단 추적을 가능하게 하는 능력으로 인해 심각한 프라이버시 문제를 야기하고 있습니다. 기존의 프라이버시 강화 방법들은 사용자 경험을 저해하지 않으면서도 얼굴 프라이버시를 보호할 수 있는 자연스러운 이미지를 생성하는 데 실패하고 있습니다. 본 연구에서는 사전 훈련된 생성 모델의 저차원 매니폴드 내에서 적대적 잠재 코드를 찾는 방식에 기반한 새로운 2단계 얼굴 프라이버시 보호 접근법을 제안합니다. 첫 번째 단계에서는 주어진 얼굴 이미지를 잠재 공간으로 역변환하고, 생성 모델을 미세 조정하여 잠재 코드로부터 주어진 이미지를 정확하게 재구성합니다. 이 단계는 주어진 신원과 유사한 고품질 얼굴을 생성하는 데 도움이 되는 좋은 초기화를 제공합니다. 이후, 사용자 정의 메이크업 텍스트 프롬프트와 신원 보존 정규화를 사용하여 잠재 공간 내에서 적대적 코드를 탐색합니다. 광범위한 실험을 통해, 본 접근법으로 생성된 얼굴들이 얼굴 검증 작업에서 최신 얼굴 프라이버시 보호 접근법 대비 12.06%의 절대적 성능 향상을 보이는 강력한 블랙박스 전이 가능성을 가짐을 입증했습니다. 마지막으로, 상용 얼굴 인식 시스템에서 제안된 접근법의 효과성을 입증합니다. 본 연구의 코드는 https://github.com/fahadshamshad/Clip2Protect에서 확인할 수 있습니다.

English

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.