Détection de copie d'image pour les modèles de diffusion

Image Copy Detection for Diffusion Models

September 30, 2024

Auteurs: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Résumé

Les images produites par les modèles de diffusion sont de plus en plus populaires dans les œuvres d'art numériques et le marketing visuel. Cependant, de telles images générées pourraient reproduire du contenu provenant d'images existantes et poser le défi de l'originalité du contenu. Les modèles existants de Détection de Copie d'Image (DCI), bien qu'efficaces pour détecter les répliques artisanales, négligent le défi posé par les modèles de diffusion. Cela nous motive à introduire ICDiff, le premier DCI spécialisé pour les modèles de diffusion. À cette fin, nous construisons un ensemble de données de Réplication de Diffusion (D-Rep) et proposons en conséquence une nouvelle méthode d'incorporation profonde. D-Rep utilise un modèle de diffusion de pointe (Diffusion Stable V1.5) pour générer 40 000 paires image-réplique, qui sont annotées manuellement en 6 niveaux de réplication allant de 0 (aucune réplication) à 5 (réplication totale). Notre méthode, PDF-Incorporation, transforme le niveau de réplication de chaque paire image-réplique en une fonction de densité de probabilité (PDF) en tant que signal de supervision. L'intuition est que la probabilité des niveaux de réplication voisins devrait être continue et régulière. Les résultats expérimentaux montrent que PDF-Incorporation surpasse les méthodes basées sur des protocoles et les choix non-PDF sur l'ensemble de test D-Rep. De plus, en utilisant PDF-Incorporation, nous constatons que les taux de réplication des modèles de diffusion bien connus par rapport à une galerie open-source varient de 10 % à 20 %.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.