La Fragilidad de las Técnicas de Marca de Agua en Imágenes Generadas por IA: Examinando su Robustez Frente a Ataques de Paráfrasis Visual.

The Brittleness of AI-Generated Image Watermarking Techniques: Examining Their Robustness Against Visual Paraphrasing Attacks

August 19, 2024

Autores: Niyar R Barman, Krish Sharma, Ashhar Aziz, Shashwat Bajpai, Shwetangshu Biswas, Vasu Sharma, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Resumen

El rápido avance de los sistemas de generación de texto a imagen, ejemplificado por modelos como Stable Diffusion, Midjourney, Imagen y DALL-E, ha aumentado las preocupaciones sobre su posible uso indebido. En respuesta, empresas como Meta y Google han intensificado sus esfuerzos para implementar técnicas de marca de agua en imágenes generadas por IA con el fin de frenar la circulación de visuales potencialmente engañosos. Sin embargo, en este documento argumentamos que los métodos actuales de marca de agua en imágenes son frágiles y susceptibles de ser eludidos mediante ataques de paráfrasis visual. El paráfrasis visual propuesto opera en dos pasos. Primero, genera un título para la imagen dada utilizando KOSMOS-2, uno de los últimos sistemas de descripción de imágenes de vanguardia. En segundo lugar, pasa tanto la imagen original como el título generado a un sistema de difusión de imagen a imagen. Durante el paso de eliminación de ruido del proceso de difusión, el sistema genera una imagen visualmente similar guiada por el título de texto. La imagen resultante es una paráfrasis visual y está libre de marcas de agua. Nuestros hallazgos empíricos demuestran que los ataques de paráfrasis visual pueden eliminar efectivamente las marcas de agua de las imágenes. Este documento proporciona una evaluación crítica, revelando empíricamente la vulnerabilidad de las técnicas de marca de agua existentes a los ataques de paráfrasis visual. Aunque no proponemos soluciones a este problema, este documento sirve como un llamado a la acción para que la comunidad científica priorice el desarrollo de técnicas de marca de agua más robustas. Nuestro conjunto de datos de paráfrasis visual único en su tipo y el código correspondiente están disponibles públicamente.

English

The rapid advancement of text-to-image generation systems, exemplified by models like Stable Diffusion, Midjourney, Imagen, and DALL-E, has heightened concerns about their potential misuse. In response, companies like Meta and Google have intensified their efforts to implement watermarking techniques on AI-generated images to curb the circulation of potentially misleading visuals. However, in this paper, we argue that current image watermarking methods are fragile and susceptible to being circumvented through visual paraphrase attacks. The proposed visual paraphraser operates in two steps. First, it generates a caption for the given image using KOSMOS-2, one of the latest state-of-the-art image captioning systems. Second, it passes both the original image and the generated caption to an image-to-image diffusion system. During the denoising step of the diffusion pipeline, the system generates a visually similar image that is guided by the text caption. The resulting image is a visual paraphrase and is free of any watermarks. Our empirical findings demonstrate that visual paraphrase attacks can effectively remove watermarks from images. This paper provides a critical assessment, empirically revealing the vulnerability of existing watermarking techniques to visual paraphrase attacks. While we do not propose solutions to this issue, this paper serves as a call to action for the scientific community to prioritize the development of more robust watermarking techniques. Our first-of-its-kind visual paraphrase dataset and accompanying code are publicly available.