Proteção Quase sem Custo Contra a Imitação por Modelos de Difusão Personalizados

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Autores: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Resumo

Os avanços recentes em modelos de difusão revolucionam a geração de imagens, mas apresentam riscos de uso indevido, como replicar obras de arte ou gerar deepfakes. Métodos existentes de proteção de imagens, embora eficazes, têm dificuldade em equilibrar a eficácia da proteção, invisibilidade e latência, limitando assim o uso prático. Introduzimos o pré-treinamento por perturbação para reduzir a latência e propomos uma abordagem de mistura de perturbações que se adapta dinamicamente às imagens de entrada para minimizar a degradação de desempenho. Nossa estratégia de treinamento inovadora calcula a perda de proteção em vários espaços de características VAE, enquanto a proteção direcionada adaptativa na inferência melhora a robustez e a invisibilidade. Experimentos mostram desempenho de proteção comparável com melhor invisibilidade e tempo de inferência drasticamente reduzido. O código e a demonstração estão disponíveis em https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto