拡散モデル向けの画像コピー検出

Image Copy Detection for Diffusion Models

September 30, 2024

著者: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

要旨

拡散モデルによって生成された画像は、デジタルアートやビジュアルマーケティングにおいてますます人気が高まっています。しかしながら、このような生成された画像は既存のコンテンツを複製する可能性があり、コンテンツの独自性の課題を提起します。既存の画像コピー検出（ICD）モデルは、手作業で作成されたレプリカを検出する際には正確ですが、拡散モデルからの課題を見落としています。これが私たちにICDiffを導入する動機となります。ICDiffは、拡散モデルに特化した初のICDです。このために、Diffusion-Replication（D-Rep）データセットを構築し、それに対応する革新的な深層埋め込み手法を提案します。D-Repは、最先端の拡散モデル（Stable Diffusion V1.5）を使用して、40,000の画像レプリカペアを生成し、これらは0（非複製）から5（完全複製）までの6つの複製レベルに手動で注釈付けされます。私たちの手法であるPDF-Embeddingは、各画像レプリカペアの複製レベルを確率密度関数（PDF）に変換し、これを監督信号とします。直感的に、隣接する複製レベルの確率は連続的で滑らかであるべきです。実験結果は、PDF-EmbeddingがD-Repテストセットでプロトコル駆動型の手法や非PDF選択肢を上回ることを示しています。さらに、PDF-Embeddingを利用することで、よく知られた拡散モデルの複製比率がオープンソースギャラリーに対して10％から20％に及ぶことがわかります。

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.