Filigranes en Cercles Concentriques : Empreintes Digitales pour les Images de Diffusion Invisibles et Robustes

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Auteurs: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Résumé

Le marquage des sorties des modèles génératifs est une technique cruciale pour tracer les droits d'auteur et prévenir les dommages potentiels liés au contenu généré par l'IA. Dans cet article, nous présentons une nouvelle technique appelée Tree-Ring Watermarking (marquage en anneaux d'arbre) qui identifie de manière robuste les sorties des modèles de diffusion. Contrairement aux méthodes existantes qui effectuent des modifications a posteriori sur les images après l'échantillonnage, Tree-Ring Watermarking influence subtilement l'intégralité du processus d'échantillonnage, produisant une empreinte du modèle invisible à l'œil humain. Le marquage intègre un motif dans le vecteur de bruit initial utilisé pour l'échantillonnage. Ces motifs sont structurés dans l'espace de Fourier afin d'être invariants aux convolutions, rognages, dilatations, retournements et rotations. Après la génération de l'image, le signal de marquage est détecté en inversant le processus de diffusion pour récupérer le vecteur de bruit, qui est ensuite vérifié pour la présence du signal intégré. Nous démontrons que cette technique peut être facilement appliquée à des modèles de diffusion arbitraires, y compris Stable Diffusion conditionné par du texte, en tant que module complémentaire avec une perte négligeable en FID. Notre marquage est sémantiquement caché dans l'espace de l'image et est bien plus robuste que les alternatives de marquage actuellement déployées. Le code est disponible sur github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.