Tree-Ring-Wasserzeichen: Unsichtbare und robuste Fingerabdrücke für Diffusionsbilder

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Autoren: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Zusammenfassung

Das Wasserzeichen der Ausgaben von generativen Modellen ist eine entscheidende Technik, um Urheberrechte nachzuverfolgen und potenzielle Schäden durch KI-generierte Inhalte zu verhindern. In diesem Artikel stellen wir eine neuartige Technik namens Tree-Ring Watermarking vor, die die Ausgaben von Diffusionsmodellen robust fingerabdruckt. Im Gegensatz zu bestehenden Methoden, die nachträgliche Modifikationen an Bildern nach der Erstellung vornehmen, beeinflusst Tree-Ring Watermarking subtil den gesamten Erstellungsprozess, wodurch ein für Menschen unsichtbarer Modell-Fingerabdruck entsteht. Das Wasserzeichen bettet ein Muster in den anfänglichen Rauschvektor ein, der für die Erstellung verwendet wird. Diese Muster sind im Fourier-Raum strukturiert, sodass sie invariant gegenüber Faltungen, Zuschneidungen, Vergrößerungen, Spiegelungen und Rotationen sind. Nach der Bilderzeugung wird das Wasserzeichensignal durch die Umkehrung des Diffusionsprozesses erkannt, um den Rauschvektor abzurufen, der dann auf das eingebettete Signal überprüft wird. Wir zeigen, dass diese Technik leicht auf beliebige Diffusionsmodelle, einschließlich textbedingter Stable Diffusion, als Plug-in mit vernachlässigbarem Verlust in FID angewendet werden kann. Unser Wasserzeichen ist semantisch im Bildraum verborgen und weitaus robuster als derzeit eingesetzte Wasserzeichenalternativen. Der Code ist verfügbar unter github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.