Detección de Copia de Imágenes para Modelos de Difusión

Image Copy Detection for Diffusion Models

September 30, 2024

Autores: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Resumen

Las imágenes producidas por modelos de difusión son cada vez más populares en el arte digital y el marketing visual. Sin embargo, dichas imágenes generadas podrían replicar contenido de existente y plantear el desafío de la originalidad del contenido. Los modelos existentes de Detección de Copia de Imágenes (DCI), aunque precisos en la detección de réplicas hechas a mano, pasan por alto el desafío de los modelos de difusión. Esto nos motiva a presentar ICDiff, la primera DCI especializada para modelos de difusión. Con este fin, construimos un conjunto de datos de Replicación de Difusión (D-Rep) y proponemos correspondientemente un nuevo método de incrustación profunda. D-Rep utiliza un modelo de difusión de última generación (Difusión Estable V1.5) para generar 40,000 pares de imágenes réplica, que son anotados manualmente en 6 niveles de replicación que van desde 0 (sin replicación) hasta 5 (replicación total). Nuestro método, Incrustación de PDF, transforma el nivel de replicación de cada par de imágenes réplica en una función de densidad de probabilidad (PDF) como señal de supervisión. La intuición es que la probabilidad de los niveles de replicación adyacentes debería ser continua y suave. Los resultados experimentales muestran que la Incrustación de PDF supera a los métodos impulsados por protocolos y a las elecciones no-PDF en el conjunto de pruebas de D-Rep. Además, al utilizar la Incrustación de PDF, descubrimos que las tasas de replicación de modelos de difusión conocidos frente a una galería de código abierto van desde el 10% al 20%.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.