Filigranage sans apprentissage pour la génération d'images autorégressive

Training-Free Watermarking for Autoregressive Image Generation

May 20, 2025

Auteurs: Yu Tong, Zihao Pan, Shuai Yang, Kaiyang Zhou

cs.AI

Résumé

Le tatouage invisible d'images peut protéger la propriété des images et prévenir l'utilisation malveillante des modèles génératifs visuels. Cependant, les méthodes de tatouage génératif existantes sont principalement conçues pour les modèles de diffusion, tandis que le tatouage pour les modèles de génération d'images autoregressifs reste largement inexploré. Nous proposons IndexMark, un cadre de tatouage sans apprentissage pour les modèles de génération d'images autoregressifs. IndexMark s'inspire de la propriété de redondance du codebook : remplacer les indices générés de manière autoregressive par des indices similaires produit des différences visuelles négligeables. Le composant central d'IndexMark est une méthode simple mais efficace de correspondance puis de remplacement, qui sélectionne soigneusement les tokens de tatouage dans le codebook en fonction de la similarité des tokens, et favorise l'utilisation des tokens de tatouage par le remplacement de tokens, intégrant ainsi le tatouage sans affecter la qualité de l'image. La vérification du tatouage est réalisée en calculant la proportion de tokens de tatouage dans les images générées, avec une précision encore améliorée par un Index Encoder. De plus, nous introduisons un schéma de validation auxiliaire pour renforcer la robustesse contre les attaques de recadrage. Les expériences démontrent qu'IndexMark atteint des performances de pointe en termes de qualité d'image et de précision de vérification, et présente une robustesse contre diverses perturbations, y compris le recadrage, le bruit, le flou gaussien, l'effacement aléatoire, la variation de couleur et la compression JPEG.

English

Invisible image watermarking can protect image ownership and prevent malicious misuse of visual generative models. However, existing generative watermarking methods are mainly designed for diffusion models while watermarking for autoregressive image generation models remains largely underexplored. We propose IndexMark, a training-free watermarking framework for autoregressive image generation models. IndexMark is inspired by the redundancy property of the codebook: replacing autoregressively generated indices with similar indices produces negligible visual differences. The core component in IndexMark is a simple yet effective match-then-replace method, which carefully selects watermark tokens from the codebook based on token similarity, and promotes the use of watermark tokens through token replacement, thereby embedding the watermark without affecting the image quality. Watermark verification is achieved by calculating the proportion of watermark tokens in generated images, with precision further improved by an Index Encoder. Furthermore, we introduce an auxiliary validation scheme to enhance robustness against cropping attacks. Experiments demonstrate that IndexMark achieves state-of-the-art performance in terms of image quality and verification accuracy, and exhibits robustness against various perturbations, including cropping, noises, Gaussian blur, random erasing, color jittering, and JPEG compression.