Watermark ad Anello degli Alberi: Impronte Digitali per Immagini di Diffusione Invisibili e Robuste

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Autori: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Abstract

La filigranatura degli output dei modelli generativi è una tecnica cruciale per tracciare i diritti d'autore e prevenire potenziali danni derivanti da contenuti generati dall'IA. In questo articolo, introduciamo una nuova tecnica chiamata Tree-Ring Watermarking che identifica in modo robusto gli output dei modelli di diffusione. A differenza dei metodi esistenti che apportano modifiche post-hoc alle immagini dopo il campionamento, il Tree-Ring Watermarking influenza sottilmente l'intero processo di campionamento, risultando in un'impronta digitale del modello invisibile all'occhio umano. La filigrana incorpora un pattern nel vettore di rumore iniziale utilizzato per il campionamento. Questi pattern sono strutturati nello spazio di Fourier in modo da essere invarianti a convoluzioni, ritagli, dilatazioni, ribaltamenti e rotazioni. Dopo la generazione dell'immagine, il segnale della filigrana viene rilevato invertendo il processo di diffusione per recuperare il vettore di rumore, che viene poi controllato per la presenza del segnale incorporato. Dimostriamo che questa tecnica può essere facilmente applicata a modelli di diffusione arbitrari, incluso il Stable Diffusion condizionato al testo, come plug-in con una perdita trascurabile in termini di FID. La nostra filigrana è semanticamente nascosta nello spazio dell'immagine ed è molto più robusta rispetto alle alternative di filigranatura attualmente implementate. Il codice è disponibile su github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.