Protection quasi nulle contre l'imitation par des modèles de diffusion personnalisés

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Auteurs: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Résumé

Les récentes avancées dans les modèles de diffusion révolutionnent la génération d'images mais posent des risques de mauvais usage, tels que la reproduction d'œuvres d'art ou la création de deepfakes. Les méthodes existantes de protection des images, bien qu'efficaces, peinent à équilibrer l'efficacité de la protection, l'invisibilité et la latence, limitant ainsi leur utilisation pratique. Nous introduisons un pré-entraînement par perturbation pour réduire la latence et proposons une approche de mélange de perturbations qui s'adapte dynamiquement aux images d'entrée pour minimiser la dégradation des performances. Notre nouvelle stratégie d'entraînement calcule la perte de protection à travers plusieurs espaces de caractéristiques VAE, tandis qu'une protection ciblée adaptative à l'inférence améliore la robustesse et l'invisibilité. Les expériences montrent des performances de protection comparables avec une invisibilité améliorée et un temps d'inférence considérablement réduit. Le code et la démonstration sont disponibles sur https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto