Tree-Ring Watermarks: 不可視かつ頑健な拡散モデル画像のためのフィンガープリント

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

著者: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

要旨

生成モデルの出力に透かしを入れることは、著作権の追跡やAI生成コンテンツによる潜在的な害を防ぐための重要な技術です。本論文では、拡散モデルの出力に頑健なフィンガープリントを埋め込む新しい技術「Tree-Ring Watermarking」を紹介します。既存の手法がサンプリング後に画像を事後的に修正するのに対し、Tree-Ring Watermarkingはサンプリングプロセス全体に微妙に影響を与え、人間には見えないモデルフィンガープリントを生成します。この透かしは、サンプリングに使用される初期ノイズベクトルにパターンを埋め込みます。これらのパターンはフーリエ空間で構造化されており、畳み込み、クロップ、拡大縮小、反転、回転に対して不変です。画像生成後、透かし信号は拡散プロセスを逆転させてノイズベクトルを取得し、埋め込まれた信号をチェックすることで検出されます。本技術は、テキスト条件付きStable Diffusionを含む任意の拡散モデルに、FIDの低下をほとんど伴わずにプラグインとして簡単に適用できることを実証します。私たちの透かしは画像空間に意味的に隠されており、現在展開されている他の透かし技術よりもはるかに頑健です。コードはgithub.com/YuxinWenRick/tree-ring-watermarkで公開されています。

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.