Watermarken van Autoregressieve Beeldgeneratie

Watermarking Autoregressive Image Generation

June 19, 2025

Auteurs: Nikola Jovanović, Ismail Labiad, Tomáš Souček, Martin Vechev, Pierre Fernandez

cs.AI

Samenvatting

Het watermerken van de uitvoer van generatieve modellen is naar voren gekomen als een veelbelovende benadering om hun herkomst te volgen. Ondanks de aanzienlijke interesse in autoregressieve beeldgeneratiemodellen en hun potentieel voor misbruik, heeft geen eerder werk geprobeerd hun uitvoer op tokenniveau te watermerken. In dit werk presenteren we de eerste dergelijke benadering door technieken voor het watermerken van taalmodelen aan te passen aan deze context. We identificeren een belangrijke uitdaging: het ontbreken van omgekeerde cyclusconsistentie (RCC), waarbij het opnieuw tokeniseren van gegenereerde beeldtokens de tokensequentie aanzienlijk verandert, waardoor het watermerk effectief wordt gewist. Om dit aan te pakken en om onze methode robuust te maken tegen veelvoorkomende beeldtransformaties, neurale compressie en verwijderingsaanvallen, introduceren we (i) een aangepaste fine-tuningprocedure voor tokenizer-detokenizer die de RCC verbetert, en (ii) een complementaire watermerksynchronisatielaag. Zoals onze experimenten aantonen, maakt onze benadering betrouwbare en robuuste watermerkdetectie mogelijk met theoretisch onderbouwde p-waarden.

English

Watermarking the outputs of generative models has emerged as a promising approach for tracking their provenance. Despite significant interest in autoregressive image generation models and their potential for misuse, no prior work has attempted to watermark their outputs at the token level. In this work, we present the first such approach by adapting language model watermarking techniques to this setting. We identify a key challenge: the lack of reverse cycle-consistency (RCC), wherein re-tokenizing generated image tokens significantly alters the token sequence, effectively erasing the watermark. To address this and to make our method robust to common image transformations, neural compression, and removal attacks, we introduce (i) a custom tokenizer-detokenizer finetuning procedure that improves RCC, and (ii) a complementary watermark synchronization layer. As our experiments demonstrate, our approach enables reliable and robust watermark detection with theoretically grounded p-values.