Обнаружение копирования изображений для моделей диффузии

Image Copy Detection for Diffusion Models

September 30, 2024

Авторы: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

Аннотация

Изображения, созданные моделями диффузии, становятся все более популярными в цифровом искусстве и визуальном маркетинге. Однако такие сгенерированные изображения могут повторять контент существующих и представлять вызов оригинальности контента. Существующие модели обнаружения копий изображений (ICD), хотя и точны в обнаружении ручных реплик, не учитывают вызов, представляемый моделями диффузии. Это мотивирует нас представить ICDiff, первую модель ICD, специализированную на моделях диффузии. Для этого мы создаем набор данных Диффузионной-Репликации (D-Rep) и предлагаем новый метод глубокого вложения. D-Rep использует передовую модель диффузии (Стабильная Диффузия V1.5) для генерации 40 000 пар изображение-реплика, которые вручную аннотируются на 6 уровнях репликации от 0 (нет репликации) до 5 (полная репликация). Наш метод, PDF-Вложение, преобразует уровень репликации каждой пары изображение-реплика в функцию плотности вероятности (PDF) в качестве сигнала надзора. Интуиция заключается в том, что вероятность соседних уровней репликации должна быть непрерывной и плавной. Экспериментальные результаты показывают, что PDF-Вложение превосходит методы, основанные на протоколах, и выборы без PDF на тестовом наборе D-Rep. Более того, используя PDF-Вложение, мы обнаруживаем, что коэффициенты репликации известных моделей диффузии по сравнению с галереей с открытым исходным кодом колеблются от 10% до 20%.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.