De kwetsbaarheid van AI-gegenereerde beeldwatermerktechnieken: Een onderzoek naar hun robuustheid tegen visuele parafrase-aanvallen

The Brittleness of AI-Generated Image Watermarking Techniques: Examining Their Robustness Against Visual Paraphrasing Attacks

August 19, 2024

Auteurs: Niyar R Barman, Krish Sharma, Ashhar Aziz, Shashwat Bajpai, Shwetangshu Biswas, Vasu Sharma, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Samenvatting

De snelle vooruitgang van tekst-naar-beeldgeneratiesystemen, geïllustreerd door modellen zoals Stable Diffusion, Midjourney, Imagen en DALL-E, heeft de zorgen over hun mogelijke misbruik vergroot. Als reactie hierop hebben bedrijven zoals Meta en Google hun inspanningen geïntensiveerd om watermerktechnieken toe te passen op AI-gegenereerde afbeeldingen, om de verspreiding van potentieel misleidende beelden te beperken. In dit artikel betogen wij echter dat de huidige methoden voor beeldwatermerken kwetsbaar zijn en gemakkelijk kunnen worden omzeild door middel van visuele parafrase-aanvallen. De voorgestelde visuele parafraseerder werkt in twee stappen. Ten eerste genereert het een bijschrift voor de gegeven afbeelding met behulp van KOSMOS-2, een van de nieuwste state-of-the-art beeldbeschrijvingssystemen. Ten tweede geeft het zowel de originele afbeelding als het gegenereerde bijschrift door aan een beeld-naar-beeld diffussiesysteem. Tijdens de denoising-stap van de diffusiepijplijn genereert het systeem een visueel vergelijkbare afbeelding die wordt geleid door het tekstbijschrift. De resulterende afbeelding is een visuele parafrase en bevat geen watermerken. Onze empirische bevindingen tonen aan dat visuele parafrase-aanvallen effectief watermerken uit afbeeldingen kunnen verwijderen. Dit artikel biedt een kritische evaluatie en onthult empirisch de kwetsbaarheid van bestaande watermerktechnieken voor visuele parafrase-aanvallen. Hoewel wij geen oplossingen voor dit probleem voorstellen, dient dit artikel als een oproep aan de wetenschappelijke gemeenschap om de ontwikkeling van robuustere watermerktechnieken te prioriteren. Onze eerste-in-zijn-soort dataset voor visuele parafrases en de bijbehorende code zijn publiekelijk beschikbaar.

English

The rapid advancement of text-to-image generation systems, exemplified by models like Stable Diffusion, Midjourney, Imagen, and DALL-E, has heightened concerns about their potential misuse. In response, companies like Meta and Google have intensified their efforts to implement watermarking techniques on AI-generated images to curb the circulation of potentially misleading visuals. However, in this paper, we argue that current image watermarking methods are fragile and susceptible to being circumvented through visual paraphrase attacks. The proposed visual paraphraser operates in two steps. First, it generates a caption for the given image using KOSMOS-2, one of the latest state-of-the-art image captioning systems. Second, it passes both the original image and the generated caption to an image-to-image diffusion system. During the denoising step of the diffusion pipeline, the system generates a visually similar image that is guided by the text caption. The resulting image is a visual paraphrase and is free of any watermarks. Our empirical findings demonstrate that visual paraphrase attacks can effectively remove watermarks from images. This paper provides a critical assessment, empirically revealing the vulnerability of existing watermarking techniques to visual paraphrase attacks. While we do not propose solutions to this issue, this paper serves as a call to action for the scientific community to prioritize the development of more robust watermarking techniques. Our first-of-its-kind visual paraphrase dataset and accompanying code are publicly available.