Bearbeite weg und mein Gesicht wird nicht bleiben: Persönliche biometrische Verteidigung gegen bösartige generative Bearbeitung

Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

November 25, 2024

Autoren: Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu

cs.AI

Zusammenfassung

In den letzten Fortschritten bei Diffusionsmodellen haben generative Bildbearbeitungen zugänglicher gemacht, was kreative Bearbeitungen ermöglicht, aber ethische Bedenken aufwirft, insbesondere hinsichtlich bösartiger Bearbeitungen von Porträts, die die Privatsphäre und Identitätssicherheit bedrohen. Bestehende Schutzmethoden stützen sich hauptsächlich auf adversarielle Störungen, um Bearbeitungen zu neutralisieren, scheitern jedoch oft bei verschiedenen Bearbeitungsanfragen. Wir schlagen FaceLock vor, einen neuartigen Ansatz zum Schutz von Porträts, der adversarielle Störungen optimiert, um biometrische Informationen zu zerstören oder signifikant zu verändern, wodurch die bearbeiteten Ausgaben biometrisch unkenntlich werden. FaceLock integriert Gesichtserkennung und visuelle Wahrnehmung in die Störungsoptimierung, um robusten Schutz gegen verschiedene Bearbeitungsversuche zu bieten. Wir weisen auch auf Schwachstellen bei häufig verwendeten Bewertungsmetriken hin und zeigen auf, wie sie manipuliert werden können, wodurch die Notwendigkeit zuverlässiger Bewertungen des Schutzes betont wird. Experimente zeigen, dass FaceLock Baselines bei der Abwehr bösartiger Bearbeitungen übertrifft und robust gegen Reinigungstechniken ist. Ablationsstudien bestätigen seine Stabilität und breite Anwendbarkeit über diffusionsbasierte Bearbeitungsalgorithmen hinweg. Unsere Arbeit fördert die biometrische Verteidigung und legt den Grundstein für datenschutzfreundliche Praktiken in der Bildbearbeitung. Der Code ist verfügbar unter: https://github.com/taco-group/FaceLock.

English

Recent advancements in diffusion models have made generative image editing more accessible, enabling creative edits but raising ethical concerns, particularly regarding malicious edits to human portraits that threaten privacy and identity security. Existing protection methods primarily rely on adversarial perturbations to nullify edits but often fail against diverse editing requests. We propose FaceLock, a novel approach to portrait protection that optimizes adversarial perturbations to destroy or significantly alter biometric information, rendering edited outputs biometrically unrecognizable. FaceLock integrates facial recognition and visual perception into perturbation optimization to provide robust protection against various editing attempts. We also highlight flaws in commonly used evaluation metrics and reveal how they can be manipulated, emphasizing the need for reliable assessments of protection. Experiments show FaceLock outperforms baselines in defending against malicious edits and is robust against purification techniques. Ablation studies confirm its stability and broad applicability across diffusion-based editing algorithms. Our work advances biometric defense and sets the foundation for privacy-preserving practices in image editing. The code is available at: https://github.com/taco-group/FaceLock.