Rilevamento della Copia di Immagini per Modelli di Diffusione

Image Copy Detection for Diffusion Models

September 30, 2024

Autori: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Abstract

Le immagini prodotte dai modelli di diffusione stanno diventando sempre più popolari nell'arte digitale e nel marketing visivo. Tuttavia, tali immagini generate potrebbero replicare contenuti di immagini esistenti e porre la sfida dell'originalità dei contenuti. I modelli esistenti di Rilevamento della Copia delle Immagini (ICD), sebbene precisi nel rilevare repliche realizzate manualmente, trascurano la sfida posta dai modelli di diffusione. Ciò ci motiva a introdurre ICDiff, il primo ICD specializzato per i modelli di diffusione. A tal fine, costruiamo un dataset di Diffusione-Replica (D-Rep) e proponiamo corrispondentemente un nuovo metodo di embedding profondo. D-Rep utilizza un modello di diffusione all'avanguardia (Stable Diffusion V1.5) per generare 40.000 coppie immagine-replica, che vengono annotate manualmente in 6 livelli di replicazione che vanno da 0 (nessuna replicazione) a 5 (replicazione totale). Il nostro metodo, PDF-Embedding, trasforma il livello di replicazione di ciascuna coppia immagine-replica in una funzione di densità di probabilità (PDF) come segnale di supervisione. L'intuizione è che la probabilità dei livelli di replicazione adiacenti dovrebbe essere continua e uniforme. I risultati sperimentali mostrano che PDF-Embedding supera i metodi basati su protocollo e le scelte non-PDF sul set di test D-Rep. Inoltre, utilizzando PDF-Embedding, scopriamo che i rapporti di replicazione dei modelli di diffusione ben noti rispetto a una galleria open-source variano dal 10% al 20%.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.