Filigranage de la génération d'images autorégressives

Watermarking Autoregressive Image Generation

June 19, 2025

Auteurs: Nikola Jovanović, Ismail Labiad, Tomáš Souček, Martin Vechev, Pierre Fernandez

cs.AI

Résumé

Le marquage des sorties des modèles génératifs est apparu comme une approche prometteuse pour suivre leur provenance. Malgré un intérêt significatif pour les modèles de génération d'images autorégressifs et leur potentiel d'utilisation abusive, aucun travail antérieur n'a tenté de marquer leurs sorties au niveau des tokens. Dans ce travail, nous présentons la première approche de ce type en adaptant les techniques de marquage des modèles de langage à ce contexte. Nous identifions un défi majeur : l'absence de cohérence inverse du cycle (RCC), où la re-tokenisation des tokens d'images générées modifie significativement la séquence de tokens, effaçant ainsi le marquage. Pour résoudre ce problème et rendre notre méthode robuste aux transformations d'images courantes, à la compression neuronale et aux attaques de suppression, nous introduisons (i) une procédure de fine-tuning personnalisée de tokenizer-detokenizer qui améliore la RCC, et (ii) une couche de synchronisation de marquage complémentaire. Comme le démontrent nos expériences, notre approche permet une détection fiable et robuste du marquage avec des valeurs p théoriquement fondées.

English

Watermarking the outputs of generative models has emerged as a promising approach for tracking their provenance. Despite significant interest in autoregressive image generation models and their potential for misuse, no prior work has attempted to watermark their outputs at the token level. In this work, we present the first such approach by adapting language model watermarking techniques to this setting. We identify a key challenge: the lack of reverse cycle-consistency (RCC), wherein re-tokenizing generated image tokens significantly alters the token sequence, effectively erasing the watermark. To address this and to make our method robust to common image transformations, neural compression, and removal attacks, we introduce (i) a custom tokenizer-detokenizer finetuning procedure that improves RCC, and (ii) a complementary watermark synchronization layer. As our experiments demonstrate, our approach enables reliable and robust watermark detection with theoretically grounded p-values.