Modifiez à volonté, mon visage ne restera pas: Défense biométrique personnelle contre la modification générative malveillante

Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

November 25, 2024

Auteurs: Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu

cs.AI

Résumé

Les récents progrès dans les modèles de diffusion ont rendu l'édition d'images génératives plus accessible, permettant des modifications créatives mais soulevant des préoccupations éthiques, notamment en ce qui concerne les modifications malveillantes apportées aux portraits humains qui menacent la vie privée et la sécurité de l'identité. Les méthodes de protection existantes reposent principalement sur des perturbations adverses pour annuler les modifications, mais échouent souvent face à des demandes de modifications diverses. Nous proposons FaceLock, une approche novatrice pour la protection des portraits qui optimise les perturbations adverses pour détruire ou modifier significativement les informations biométriques, rendant les sorties modifiées méconnaissables sur le plan biométrique. FaceLock intègre la reconnaissance faciale et la perception visuelle dans l'optimisation des perturbations pour offrir une protection robuste contre diverses tentatives de modification. Nous mettons également en évidence les lacunes des métriques d'évaluation couramment utilisées et révélons comment elles peuvent être manipulées, soulignant la nécessité d'évaluations fiables de la protection. Les expériences montrent que FaceLock surpasse les références en défendant contre les modifications malveillantes et est robuste contre les techniques de purification. Des études d'ablation confirment sa stabilité et sa large applicabilité à travers les algorithmes de modification basés sur la diffusion. Notre travail fait progresser la défense biométrique et pose les bases pour des pratiques préservant la vie privée dans l'édition d'images. Le code est disponible sur : https://github.com/taco-group/FaceLock.

English

Recent advancements in diffusion models have made generative image editing more accessible, enabling creative edits but raising ethical concerns, particularly regarding malicious edits to human portraits that threaten privacy and identity security. Existing protection methods primarily rely on adversarial perturbations to nullify edits but often fail against diverse editing requests. We propose FaceLock, a novel approach to portrait protection that optimizes adversarial perturbations to destroy or significantly alter biometric information, rendering edited outputs biometrically unrecognizable. FaceLock integrates facial recognition and visual perception into perturbation optimization to provide robust protection against various editing attempts. We also highlight flaws in commonly used evaluation metrics and reveal how they can be manipulated, emphasizing the need for reliable assessments of protection. Experiments show FaceLock outperforms baselines in defending against malicious edits and is robust against purification techniques. Ablation studies confirm its stability and broad applicability across diffusion-based editing algorithms. Our work advances biometric defense and sets the foundation for privacy-preserving practices in image editing. The code is available at: https://github.com/taco-group/FaceLock.