Водяные знаки "Годовые кольца": невидимые и устойчивые отпечатки для диффузионных изображений

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Авторы: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Аннотация

Водяные знаки на выходных данных генеративных моделей являются важной техникой для отслеживания авторских прав и предотвращения потенциального вреда от контента, созданного с помощью ИИ. В данной статье мы представляем новую методику под названием Tree-Ring Watermarking, которая надежно создает цифровые отпечатки на выходных данных диффузионных моделей. В отличие от существующих методов, которые вносят изменения в изображения после их генерации, Tree-Ring Watermarking тонко влияет на весь процесс выборки, создавая отпечаток модели, невидимый для человека. Водяной знак встраивает паттерн в начальный вектор шума, используемый для выборки. Эти паттерны структурированы в частотной области (пространстве Фурье), что делает их устойчивыми к сверткам, обрезкам, масштабированию, отражениям и поворотам. После генерации изображения сигнал водяного знака обнаруживается путем инвертирования процесса диффузии для извлечения вектора шума, который затем проверяется на наличие встроенного сигнала. Мы показываем, что эту технику можно легко применить к произвольным диффузионным моделям, включая текстово-обусловленную Stable Diffusion, в качестве плагина с незначительной потерей в метрике FID. Наш водяной знак семантически скрыт в пространстве изображений и значительно более устойчив, чем альтернативные методы водяных знаков, используемые в настоящее время. Код доступен по адресу github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.