Редактируйте на здоровье, но мое лицо не останется: персональная биометрическая защита от вредоносного генеративного редактирования.

Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

November 25, 2024

Авторы: Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu

cs.AI

Аннотация

Недавние достижения в моделях диффузии сделали генеративное редактирование изображений более доступным, позволяя творческие правки, но вызывая этические вопросы, особенно в отношении злонамеренных правок портретов людей, угрожающих конфиденциальности и безопасности личности. Существующие методы защиты в основном опираются на адверсарные искажения для аннулирования правок, но часто терпят неудачу против разнообразных запросов на редактирование. Мы предлагаем FaceLock, новый подход к защите портретов, который оптимизирует адверсарные искажения для уничтожения или значительного изменения биометрической информации, делая отредактированные выходные данные биометрически неузнаваемыми. FaceLock интегрирует распознавание лиц и визуальное восприятие в оптимизацию искажений для обеспечения надежной защиты от различных попыток редактирования. Мы также выявляем недостатки общеиспользуемых метрик оценки и раскрываем, как их можно манипулировать, подчеркивая необходимость надежной оценки защиты. Эксперименты показывают, что FaceLock превосходит базовые показатели в защите от злонамеренных правок и устойчив против техник очистки. Исследования абляции подтверждают его стабильность и широкие возможности применения в алгоритмах редактирования на основе диффузии. Наша работа продвигает биометрическую защиту и заложивает основу для практик, сохраняющих конфиденциальность при редактировании изображений. Код доступен по ссылке: https://github.com/taco-group/FaceLock.

English

Recent advancements in diffusion models have made generative image editing more accessible, enabling creative edits but raising ethical concerns, particularly regarding malicious edits to human portraits that threaten privacy and identity security. Existing protection methods primarily rely on adversarial perturbations to nullify edits but often fail against diverse editing requests. We propose FaceLock, a novel approach to portrait protection that optimizes adversarial perturbations to destroy or significantly alter biometric information, rendering edited outputs biometrically unrecognizable. FaceLock integrates facial recognition and visual perception into perturbation optimization to provide robust protection against various editing attempts. We also highlight flaws in commonly used evaluation metrics and reveal how they can be manipulated, emphasizing the need for reliable assessments of protection. Experiments show FaceLock outperforms baselines in defending against malicious edits and is robust against purification techniques. Ablation studies confirm its stability and broad applicability across diffusion-based editing algorithms. Our work advances biometric defense and sets the foundation for privacy-preserving practices in image editing. The code is available at: https://github.com/taco-group/FaceLock.