Bijna kosteloze bescherming tegen nabootsing door gepersonaliseerde diffusiemodellen

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Auteurs: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Samenvatting

Recente ontwikkelingen in diffusiemodellen hebben de beeldgeneratie gerevolutioneerd, maar brengen risico's met zich mee van misbruik, zoals het repliceren van kunstwerken of het genereren van deepfakes. Bestaande methoden voor beeldbescherming, hoewel effectief, worstelen met het vinden van een balans tussen beschermingseffectiviteit, onzichtbaarheid en latentie, waardoor praktisch gebruik beperkt wordt. We introduceren verstoring voorafgaand aan training om de latentie te verminderen en stellen een benadering van mengsel van verstoringen voor die dynamisch aanpast aan invoerbeelden om prestatievermindering te minimaliseren. Onze nieuwe trainingsstrategie berekent beschermingsverlies over meerdere VAE-kenmerkruimten, terwijl adaptieve gerichte bescherming bij inferentie de robuustheid en onzichtbaarheid verbetert. Experimenten tonen vergelijkbare beschermingsprestaties met verbeterde onzichtbaarheid en aanzienlijk verminderde inferentietijd. De code en demo zijn beschikbaar op https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto