Nahezu kostenloser Schutz gegen Nachahmung durch personalisierte Diffusionsmodelle

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Autoren: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Zusammenfassung

Neueste Fortschritte in Diffusionsmodellen revolutionieren die Bildgenerierung, bringen jedoch Risiken des Missbrauchs mit sich, wie die Reproduktion von Kunstwerken oder die Erstellung von Deepfakes. Bestehende Methoden zum Schutz von Bildern haben Schwierigkeiten, Schutzwirksamkeit, Unsichtbarkeit und Latenz auszubalancieren, was die praktische Anwendung einschränkt. Wir stellen die Perturbation-Vortrainierung vor, um die Latenz zu reduzieren, und schlagen einen Ansatz mit einer Mischung von Perturbationen vor, der sich dynamisch an Eingabebilder anpasst, um die Leistungseinbußen zu minimieren. Unsere neuartige Trainingsstrategie berechnet den Schutzverlust über mehrere VAE-Merkmalräume, während ein adaptiver zielgerichteter Schutz bei der Inferenz die Robustheit und Unsichtbarkeit verbessert. Experimente zeigen vergleichbare Schutzleistung mit verbesserter Unsichtbarkeit und drastisch reduzierter Inferenzzeit. Der Code und die Demo sind verfügbar unter https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto