La Fragilité des Techniques de Filigrane d'Images Générées par l'IA : Examen de Leur Robustesse Contre les Attaques de Paraphrase Visuelle

The Brittleness of AI-Generated Image Watermarking Techniques: Examining Their Robustness Against Visual Paraphrasing Attacks

August 19, 2024

Auteurs: Niyar R Barman, Krish Sharma, Ashhar Aziz, Shashwat Bajpai, Shwetangshu Biswas, Vasu Sharma, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Résumé

Le rapide progrès des systèmes de génération de texte en image, illustré par des modèles tels que Stable Diffusion, Midjourney, Imagen et DALL-E, a accru les préoccupations concernant leur potentiel de mauvais usage. En réponse, des entreprises telles que Meta et Google ont intensifié leurs efforts pour mettre en œuvre des techniques de tatouage numérique sur les images générées par l'IA afin de limiter la circulation de visuels potentiellement trompeurs. Cependant, dans cet article, nous soutenons que les méthodes actuelles de tatouage numérique d'images sont fragiles et susceptibles d'être contournées par des attaques de paraphrase visuelle. Le paraphraseur visuel proposé fonctionne en deux étapes. Tout d'abord, il génère une légende pour l'image donnée en utilisant KOSMOS-2, l'un des derniers systèmes de légendage d'images de pointe. Ensuite, il transmet à la fois l'image originale et la légende générée à un système de diffusion d'image en image. Lors de l'étape de débruitage du pipeline de diffusion, le système génère une image visuellement similaire guidée par la légende textuelle. L'image résultante est un paraphrase visuel et est exempte de tout tatouage numérique. Nos résultats empiriques démontrent que les attaques de paraphrase visuelle peuvent efficacement éliminer les tatouages numériques des images. Cet article fournit une évaluation critique, révélant empiriquement la vulnérabilité des techniques de tatouage numérique existantes aux attaques de paraphrase visuelle. Bien que nous ne proposions pas de solutions à ce problème, cet article sert d'appel à l'action pour la communauté scientifique afin de prioriser le développement de techniques de tatouage numérique plus robustes. Notre ensemble de données de paraphrase visuelle unique en son genre et le code associé sont disponibles publiquement.

English

The rapid advancement of text-to-image generation systems, exemplified by models like Stable Diffusion, Midjourney, Imagen, and DALL-E, has heightened concerns about their potential misuse. In response, companies like Meta and Google have intensified their efforts to implement watermarking techniques on AI-generated images to curb the circulation of potentially misleading visuals. However, in this paper, we argue that current image watermarking methods are fragile and susceptible to being circumvented through visual paraphrase attacks. The proposed visual paraphraser operates in two steps. First, it generates a caption for the given image using KOSMOS-2, one of the latest state-of-the-art image captioning systems. Second, it passes both the original image and the generated caption to an image-to-image diffusion system. During the denoising step of the diffusion pipeline, the system generates a visually similar image that is guided by the text caption. The resulting image is a visual paraphrase and is free of any watermarks. Our empirical findings demonstrate that visual paraphrase attacks can effectively remove watermarks from images. This paper provides a critical assessment, empirically revealing the vulnerability of existing watermarking techniques to visual paraphrase attacks. While we do not propose solutions to this issue, this paper serves as a call to action for the scientific community to prioritize the development of more robust watermarking techniques. Our first-of-its-kind visual paraphrase dataset and accompanying code are publicly available.