個人化拡散モデルによる模倣へのほぼゼロコストの保護

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

著者: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

要旨

最近の拡散モデルの進歩は画像生成を革新しましたが、芸術作品の複製やディープフェイクの生成などの誤用のリスクをもたらします。既存の画像保護方法は効果的ですが、保護効果、不可視性、遅延のバランスをとることが難しく、実用性が制限されています。私たちは、遅延を減らすための摂動事前トレーニングを導入し、入力画像に動的に適応する摂動の混合アプローチを提案します。私たちの新しいトレーニング戦略は、複数のVAE特徴空間で保護損失を計算し、推論時の適応型ターゲット保護は頑健性と不可視性を向上させます。実験では、改善された不可視性と推論時間の大幅な短縮に伴う同等の保護性能が示されました。コードとデモは以下のリンクから入手可能です：https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto