Marcas de Agua de Anillos de Árbol: Huellas Digitales para Imágenes de Difusión que son Invisibles y Robustas

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

Autores: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

Resumen

La marca de agua en las salidas de los modelos generativos es una técnica crucial para rastrear derechos de autor y prevenir posibles daños causados por contenido generado por IA. En este artículo, presentamos una técnica novedosa llamada Marca de Agua de Anillos de Árbol que robustamente identifica las salidas de los modelos de difusión. A diferencia de los métodos existentes que realizan modificaciones posteriores a las imágenes después del muestreo, la Marca de Agua de Anillos de Árbol influye sutilmente en todo el proceso de muestreo, resultando en una huella del modelo que es invisible para los humanos. La marca de agua incrusta un patrón en el vector de ruido inicial utilizado para el muestreo. Estos patrones están estructurados en el espacio de Fourier para que sean invariantes a convoluciones, recortes, dilataciones, volteos y rotaciones. Después de la generación de la imagen, la señal de la marca de agua se detecta invirtiendo el proceso de difusión para recuperar el vector de ruido, el cual luego se verifica en busca de la señal incrustada. Demostramos que esta técnica puede aplicarse fácilmente a modelos de difusión arbitrarios, incluyendo Stable Diffusion condicionado por texto, como un complemento con una pérdida insignificante en FID. Nuestra marca de agua está semánticamente oculta en el espacio de la imagen y es mucho más robusta que las alternativas de marca de agua actualmente implementadas. El código está disponible en github.com/YuxinWenRick/tree-ring-watermark.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.