Bildkopieerkennung für Diffusionsmodelle

Image Copy Detection for Diffusion Models

September 30, 2024

Autoren: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Zusammenfassung

Bilder, die von Diffusionsmodellen erzeugt werden, erfreuen sich zunehmender Beliebtheit in der digitalen Kunst und im visuellen Marketing. Allerdings könnten solche generierten Bilder Inhalte aus bereits bestehenden replizieren und die Herausforderung der Inhaltsoriginalität darstellen. Bestehende Modelle zur Bildkopieerkennung (Image Copy Detection, ICD) sind zwar genau bei der Erkennung von handgefertigten Kopien, vernachlässigen jedoch die Herausforderung durch Diffusionsmodelle. Dies motiviert uns, ICDiff vorzustellen, die erste auf Diffusionsmodelle spezialisierte ICD. Zu diesem Zweck erstellen wir einen Diffusions-Replikations (D-Rep) Datensatz und schlagen entsprechend eine neuartige Deep-Learning-Einbettungsmethode vor. D-Rep verwendet ein hochmodernes Diffusionsmodell (Stable Diffusion V1.5), um 40.000 Bild-Replikat-Paare zu generieren, die manuell in 6 Replikationsstufen von 0 (keine Replikation) bis 5 (vollständige Replikation) annotiert werden. Unsere Methode, PDF-Einbettung, wandelt die Replikationsstufe jedes Bild-Replikat-Paares in eine Wahrscheinlichkeitsdichtefunktion (PDF) als Überwachungssignal um. Die Intuition besteht darin, dass die Wahrscheinlichkeit benachbarter Replikationsstufen kontinuierlich und glatt sein sollte. Experimentelle Ergebnisse zeigen, dass PDF-Einbettung protokollgesteuerte Methoden und nicht-PDF-Optionen auf dem D-Rep-Testdatensatz übertrifft. Darüber hinaus zeigen wir durch die Verwendung von PDF-Einbettung, dass die Replikationsraten bekannter Diffusionsmodelle gegenüber einer Open-Source-Galerie im Bereich von 10% bis 20% liegen.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.