Detecção de Cópia de Imagens para Modelos de Difusão

Image Copy Detection for Diffusion Models

September 30, 2024

Autores: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Resumo

As imagens produzidas por modelos de difusão estão cada vez mais populares em arte digital e marketing visual. No entanto, tais imagens geradas podem replicar conteúdo de existentes e apresentar o desafio da originalidade do conteúdo. Modelos existentes de Detecção de Cópia de Imagem (DCI), embora precisos na detecção de réplicas feitas manualmente, ignoram o desafio dos modelos de difusão. Isso nos motiva a apresentar o ICDiff, o primeiro DCI especializado para modelos de difusão. Para isso, construímos um conjunto de dados de Replicação de Difusão (D-Rep) e propomos um novo método de incorporação profunda correspondente. O D-Rep utiliza um modelo de difusão de ponta (Difusão Estável V1.5) para gerar 40.000 pares de imagem-réplica, que são manualmente anotados em 6 níveis de replicação variando de 0 (sem replicação) a 5 (replicação total). Nosso método, Incorporação de PDF, transforma o nível de replicação de cada par de imagem-réplica em uma função de densidade de probabilidade (PDF) como sinal de supervisão. A intuição é que a probabilidade dos níveis de replicação vizinhos deve ser contínua e suave. Resultados experimentais mostram que a Incorporação de PDF supera métodos orientados por protocolo e escolhas não-PDF no conjunto de teste D-Rep. Além disso, ao utilizar a Incorporação de PDF, descobrimos que as taxas de replicação de modelos de difusão conhecidos em relação a uma galeria de código aberto variam de 10% a 20%.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.