Afbeeldingskopiëringdetectie voor Diffusiemodellen

Image Copy Detection for Diffusion Models

September 30, 2024

Auteurs: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Samenvatting

Afbeeldingen die worden geproduceerd door diffusiemodellen zijn steeds populairder in digitale kunst en visuele marketing. Echter, dergelijke gegenereerde afbeeldingen kunnen inhoud van bestaande afbeeldingen repliceren en zo de uitdaging van inhoudsoriginaliteit vormen. Bestaande Image Copy Detection (ICD) modellen, hoewel nauwkeurig in het detecteren van handgemaakte replica's, zien de uitdaging van diffusiemodellen over het hoofd. Dit motiveert ons om ICDiff te introduceren, de eerste ICD gespecialiseerd voor diffusiemodellen. Hiervoor construeren we een Diffusion-Replication (D-Rep) dataset en stellen we een nieuw diepgaand inbeddingsmethode voor. D-Rep maakt gebruik van een geavanceerd diffusiemodel (Stable Diffusion V1.5) om 40.000 afbeeldingsreplica-paren te genereren, die handmatig zijn geannoteerd in 6 replicatieniveaus variërend van 0 (geen replicatie) tot 5 (totale replicatie). Onze methode, PDF-Inbedding, transformeert het replicatieniveau van elk afbeeldingsreplica-paar in een kansdichtheidsfunctie (PDF) als het supervisiesignaal. De intuïtie is dat de waarschijnlijkheid van aangrenzende replicatieniveaus continu en glad moet zijn. Experimentele resultaten tonen aan dat PDF-Inbedding protocoldriven methoden en niet-PDF-keuzes op de D-Rep testset overtreft. Bovendien, door PDF-Inbedding te gebruiken, vinden we dat de replicatieverhoudingen van bekende diffusiemodellen tegenover een open-source galerij variëren van 10% tot 20%.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.