A Fragilidade das Técnicas de Marcação de Imagens Geradas por IA: Examinando Sua Robustez Contra Ataques de Paráfrase Visual

The Brittleness of AI-Generated Image Watermarking Techniques: Examining Their Robustness Against Visual Paraphrasing Attacks

August 19, 2024

Autores: Niyar R Barman, Krish Sharma, Ashhar Aziz, Shashwat Bajpai, Shwetangshu Biswas, Vasu Sharma, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Resumo

O rápido avanço dos sistemas de geração de texto para imagem, exemplificado por modelos como Stable Diffusion, Midjourney, Imagen e DALL-E, tem aumentado as preocupações sobre seu potencial uso indevido. Em resposta, empresas como Meta e Google intensificaram seus esforços para implementar técnicas de marca d'água em imagens geradas por IA, a fim de conter a circulação de visuais potencialmente enganosos. No entanto, neste artigo, argumentamos que os métodos atuais de marca d'água em imagens são frágeis e suscetíveis a serem contornados por meio de ataques de paráfrase visual. O paráfrase visual proposto opera em duas etapas. Primeiramente, gera uma legenda para a imagem fornecida usando o KOSMOS-2, um dos mais recentes sistemas de legendagem de imagens de última geração. Em seguida, passa tanto a imagem original quanto a legenda gerada para um sistema de difusão de imagem para imagem. Durante a etapa de remoção de ruído do pipeline de difusão, o sistema gera uma imagem visualmente similar guiada pela legenda de texto. A imagem resultante é uma paráfrase visual e está livre de quaisquer marcas d'água. Nossas descobertas empíricas demonstram que os ataques de paráfrase visual podem remover efetivamente marcas d'água de imagens. Este artigo fornece uma avaliação crítica, revelando empiricamente a vulnerabilidade das técnicas de marca d'água existentes a ataques de paráfrase visual. Embora não proponhamos soluções para esse problema, este artigo serve como um apelo à comunidade científica para priorizar o desenvolvimento de técnicas de marca d'água mais robustas. Nosso conjunto de dados de paráfrase visual pioneiro e o código correspondente estão disponíveis publicamente.

English

The rapid advancement of text-to-image generation systems, exemplified by models like Stable Diffusion, Midjourney, Imagen, and DALL-E, has heightened concerns about their potential misuse. In response, companies like Meta and Google have intensified their efforts to implement watermarking techniques on AI-generated images to curb the circulation of potentially misleading visuals. However, in this paper, we argue that current image watermarking methods are fragile and susceptible to being circumvented through visual paraphrase attacks. The proposed visual paraphraser operates in two steps. First, it generates a caption for the given image using KOSMOS-2, one of the latest state-of-the-art image captioning systems. Second, it passes both the original image and the generated caption to an image-to-image diffusion system. During the denoising step of the diffusion pipeline, the system generates a visually similar image that is guided by the text caption. The resulting image is a visual paraphrase and is free of any watermarks. Our empirical findings demonstrate that visual paraphrase attacks can effectively remove watermarks from images. This paper provides a critical assessment, empirically revealing the vulnerability of existing watermarking techniques to visual paraphrase attacks. While we do not propose solutions to this issue, this paper serves as a call to action for the scientific community to prioritize the development of more robust watermarking techniques. Our first-of-its-kind visual paraphrase dataset and accompanying code are publicly available.