Marcas d'água em Anéis de Árvore: Impressões Digitais para Imagens de Difusão que são Invisíveis e Robustas

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Autores: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Resumo

A marcação d'água nas saídas de modelos generativos é uma técnica crucial para rastrear direitos autorais e prevenir possíveis danos causados por conteúdo gerado por IA. Neste artigo, apresentamos uma nova técnica chamada Marcação d'Água em Anel de Árvore (Tree-Ring Watermarking), que robustamente identifica as saídas de modelos de difusão. Diferente dos métodos existentes que realizam modificações pós-processamento em imagens após a amostragem, a Marcação d'Água em Anel de Árvore influencia sutilmente todo o processo de amostragem, resultando em uma impressão digital do modelo que é invisível aos humanos. A marca d'água incorpora um padrão no vetor de ruído inicial usado para a amostragem. Esses padrões são estruturados no espaço de Fourier para que sejam invariantes a convoluções, cortes, dilatações, inversões e rotações. Após a geração da imagem, o sinal da marca d'água é detectado invertendo o processo de difusão para recuperar o vetor de ruído, que é então verificado quanto ao sinal incorporado. Demonstramos que essa técnica pode ser facilmente aplicada a modelos de difusão arbitrários, incluindo o Stable Diffusion condicionado por texto, como um plug-in com perda insignificante no FID. Nossa marca d'água está semanticamente oculta no espaço da imagem e é muito mais robusta do que as alternativas de marcação d'água atualmente implantadas. O código está disponível em github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.