Protección casi gratuita contra la imitación mediante modelos de difusión personalizados

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Autores: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Resumen

Los avances recientes en modelos de difusión revolucionan la generación de imágenes pero plantean riesgos de uso indebido, como la replicación de obras de arte o la generación de deepfakes. Los métodos existentes de protección de imágenes, aunque efectivos, luchan por equilibrar la eficacia de protección, invisibilidad y latencia, limitando así su uso práctico. Introducimos el pre-entrenamiento de perturbaciones para reducir la latencia y proponemos un enfoque de mezcla de perturbaciones que se adapta dinámicamente a las imágenes de entrada para minimizar la degradación del rendimiento. Nuestra estrategia de entrenamiento novedosa calcula la pérdida de protección en múltiples espacios de características VAE, mientras que la protección dirigida adaptativa en la inferencia mejora la robustez y la invisibilidad. Los experimentos muestran un rendimiento de protección comparable con una invisibilidad mejorada y un tiempo de inferencia drásticamente reducido. El código y la demostración están disponibles en https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto