Tree-Ring Watermarks: Vingerafdrukken voor diffusiebeelden die onzichtbaar en robuust zijn

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Auteurs: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Samenvatting

Het watermerken van de uitvoer van generatieve modellen is een cruciale techniek voor het traceren van auteursrechten en het voorkomen van mogelijke schade door AI-gegenereerde inhoud. In dit artikel introduceren we een nieuwe techniek genaamd Tree-Ring Watermarking die robuust vingerafdrukken aanbrengt in de uitvoer van diffusiemodellen. In tegenstelling tot bestaande methoden die achteraf wijzigingen aanbrengen aan afbeeldingen na het bemonsteren, beïnvloedt Tree-Ring Watermarking subtiel het gehele bemonsteringsproces, wat resulteert in een modelvingerafdruk die onzichtbaar is voor mensen. Het watermerk wordt ingebed in de initiële ruisvector die wordt gebruikt voor het bemonsteren. Deze patronen zijn gestructureerd in Fourier-ruimte, zodat ze invariant zijn voor convoluties, uitsnijdingen, vergrotingen, spiegelingen en rotaties. Na het genereren van de afbeelding wordt het watermerksignaal gedetecteerd door het diffusieproces om te keren om de ruisvector op te halen, die vervolgens wordt gecontroleerd op het ingebedde signaal. We tonen aan dat deze techniek eenvoudig kan worden toegepast op willekeurige diffusiemodellen, waaronder tekst-geconditioneerde Stable Diffusion, als een plug-in met een verwaarloosbaar verlies in FID. Ons watermerk is semantisch verborgen in de beeldruimte en is veel robuuster dan alternatieve watermerktechnieken die momenteel worden ingezet. Code is beschikbaar op github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.