AI生成画像の透かし技術の脆弱性：視覚的言い換え攻撃に対する堅牢性の検証

The Brittleness of AI-Generated Image Watermarking Techniques: Examining Their Robustness Against Visual Paraphrasing Attacks

August 19, 2024

著者: Niyar R Barman, Krish Sharma, Ashhar Aziz, Shashwat Bajpai, Shwetangshu Biswas, Vasu Sharma, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

要旨

Stable Diffusion、Midjourney、Imagen、DALL-Eなどのモデルに代表されるテキストから画像を生成するシステムの急速な進展は、その悪用の可能性に対する懸念を高めています。これに対応して、MetaやGoogleなどの企業は、AI生成画像に透かし技術を適用する取り組みを強化し、誤解を招く可能性のある視覚情報の拡散を抑制しようとしています。しかし、本論文では、現在の画像透かし技術は脆弱であり、視覚的言い換え攻撃（visual paraphrase attack）によって回避されやすいと主張します。提案する視覚的言い換えシステムは、2つのステップで動作します。まず、最新の画像キャプショニングシステムであるKOSMOS-2を使用して、与えられた画像のキャプションを生成します。次に、元の画像と生成されたキャプションを画像から画像への拡散システムに渡します。拡散パイプラインのノイズ除去ステップ中に、システムはテキストキャプションに導かれた視覚的に類似した画像を生成します。結果として得られる画像は視覚的言い換えであり、透かしは含まれていません。我々の実験結果は、視覚的言い換え攻撃が画像から透かしを効果的に除去できることを示しています。本論文は、既存の透かし技術が視覚的言い換え攻撃に対して脆弱であることを実証的に明らかにする批判的評価を提供します。この問題に対する解決策を提案するものではありませんが、科学コミュニティに対して、より堅牢な透かし技術の開発を優先するよう呼びかけるものです。我々が初めて作成した視覚的言い換えデータセットと関連コードは公開されています。

English

The rapid advancement of text-to-image generation systems, exemplified by models like Stable Diffusion, Midjourney, Imagen, and DALL-E, has heightened concerns about their potential misuse. In response, companies like Meta and Google have intensified their efforts to implement watermarking techniques on AI-generated images to curb the circulation of potentially misleading visuals. However, in this paper, we argue that current image watermarking methods are fragile and susceptible to being circumvented through visual paraphrase attacks. The proposed visual paraphraser operates in two steps. First, it generates a caption for the given image using KOSMOS-2, one of the latest state-of-the-art image captioning systems. Second, it passes both the original image and the generated caption to an image-to-image diffusion system. During the denoising step of the diffusion pipeline, the system generates a visually similar image that is guided by the text caption. The resulting image is a visual paraphrase and is free of any watermarks. Our empirical findings demonstrate that visual paraphrase attacks can effectively remove watermarks from images. This paper provides a critical assessment, empirically revealing the vulnerability of existing watermarking techniques to visual paraphrase attacks. While we do not propose solutions to this issue, this paper serves as a call to action for the scientific community to prioritize the development of more robust watermarking techniques. Our first-of-its-kind visual paraphrase dataset and accompanying code are publicly available.