Trainingsvrije watermerken voor autoregressieve beeldgeneratie

Training-Free Watermarking for Autoregressive Image Generation

May 20, 2025

Auteurs: Yu Tong, Zihao Pan, Shuai Yang, Kaiyang Zhou

cs.AI

Samenvatting

Onzichtbare beeldwatermerken kunnen het eigendomsrecht van afbeeldingen beschermen en kwaadwillig misbruik van visuele generatieve modellen voorkomen. Bestaande generatieve watermerkmethoden zijn echter voornamelijk ontworpen voor diffusiemodellen, terwijl watermerken voor autoregressieve beeldgeneratiemodellen grotendeels onontgonnen blijven. Wij stellen IndexMark voor, een trainingsvrij watermerkraamwerk voor autoregressieve beeldgeneratiemodellen. IndexMark is geïnspireerd door de redundantie-eigenschap van de codebook: het vervangen van autoregressief gegenereerde indices door vergelijkbare indices levert verwaarloosbare visuele verschillen op. De kerncomponent in IndexMark is een eenvoudige maar effectieve match-then-replace-methode, die zorgvuldig watermerktokens selecteert uit de codebook op basis van tokensimilariteit, en het gebruik van watermerktokens bevordert door tokenvervanging, waardoor het watermerk wordt ingebed zonder de beeldkwaliteit te beïnvloeden. Watermerkverificatie wordt bereikt door het aandeel van watermerktokens in gegenereerde afbeeldingen te berekenen, waarbij de precisie verder wordt verbeterd door een Index Encoder. Bovendien introduceren we een aanvullende validatieschema om de robuustheid tegen cropping-aanvallen te vergroten. Experimenten tonen aan dat IndexMark state-of-the-art prestaties bereikt op het gebied van beeldkwaliteit en verificatienauwkeurigheid, en robuustheid vertoont tegen verschillende verstoringen, waaronder cropping, ruis, Gaussiaanse vervaging, willekeurig wissen, kleurverandering en JPEG-compressie.

English

Invisible image watermarking can protect image ownership and prevent malicious misuse of visual generative models. However, existing generative watermarking methods are mainly designed for diffusion models while watermarking for autoregressive image generation models remains largely underexplored. We propose IndexMark, a training-free watermarking framework for autoregressive image generation models. IndexMark is inspired by the redundancy property of the codebook: replacing autoregressively generated indices with similar indices produces negligible visual differences. The core component in IndexMark is a simple yet effective match-then-replace method, which carefully selects watermark tokens from the codebook based on token similarity, and promotes the use of watermark tokens through token replacement, thereby embedding the watermark without affecting the image quality. Watermark verification is achieved by calculating the proportion of watermark tokens in generated images, with precision further improved by an Index Encoder. Furthermore, we introduce an auxiliary validation scheme to enhance robustness against cropping attacks. Experiments demonstrate that IndexMark achieves state-of-the-art performance in terms of image quality and verification accuracy, and exhibits robustness against various perturbations, including cropping, noises, Gaussian blur, random erasing, color jittering, and JPEG compression.