Почти бесплатная защита от подражания с помощью персонализированных моделей диффузии

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Авторы: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Аннотация

Недавние достижения в моделях диффузии революционизируют генерацию изображений, однако представляют риски неправомерного использования, таких как воспроизведение произведений искусства или создание дипфейков. Существующие методы защиты изображений, хотя и эффективны, испытывают трудности в балансировании эффективности защиты, невидимости и задержки, что ограничивает их практическое использование. Мы предлагаем предварительное обучение с помехами для сокращения задержки и предлагаем подход смешивания помех, который динамически адаптируется к входным изображениям для минимизации снижения производительности. Наша новая стратегия обучения вычисляет потерю защиты в нескольких пространствах признаков VAE, в то время как адаптивная целевая защита на этапе вывода повышает устойчивость и невидимость. Эксперименты показывают сравнимую производительность защиты с улучшенной невидимостью и значительно сокращенным временем вывода. Код и демонстрация доступны по ссылке https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto