Filigranatura della Generazione Autoregressiva di Immagini
Watermarking Autoregressive Image Generation
June 19, 2025
Autori: Nikola Jovanović, Ismail Labiad, Tomáš Souček, Martin Vechev, Pierre Fernandez
cs.AI
Abstract
La marcatura delle uscite dei modelli generativi è emersa come un approccio promettente per tracciarne la provenienza. Nonostante il significativo interesse verso i modelli di generazione di immagini autoregressivi e il loro potenziale di abuso, nessun lavoro precedente ha tentato di marcare le loro uscite a livello di token. In questo lavoro, presentiamo il primo approccio di questo tipo adattando le tecniche di marcatura dei modelli linguistici a questo contesto. Identifichiamo una sfida chiave: la mancanza di coerenza inversa del ciclo (RCC), in cui la ritokenizzazione dei token di immagini generate altera significativamente la sequenza di token, cancellando di fatto la marca. Per affrontare questo problema e rendere il nostro metodo robusto alle comuni trasformazioni delle immagini, alla compressione neurale e agli attacchi di rimozione, introduciamo (i) una procedura di fine-tuning personalizzata per tokenizer-detokenizer che migliora la RCC, e (ii) uno strato complementare di sincronizzazione della marca. Come dimostrano i nostri esperimenti, il nostro approccio consente un rilevamento affidabile e robusto della marca con valori p teoricamente fondati.
English
Watermarking the outputs of generative models has emerged as a promising
approach for tracking their provenance. Despite significant interest in
autoregressive image generation models and their potential for misuse, no prior
work has attempted to watermark their outputs at the token level. In this work,
we present the first such approach by adapting language model watermarking
techniques to this setting. We identify a key challenge: the lack of reverse
cycle-consistency (RCC), wherein re-tokenizing generated image tokens
significantly alters the token sequence, effectively erasing the watermark. To
address this and to make our method robust to common image transformations,
neural compression, and removal attacks, we introduce (i) a custom
tokenizer-detokenizer finetuning procedure that improves RCC, and (ii) a
complementary watermark synchronization layer. As our experiments demonstrate,
our approach enables reliable and robust watermark detection with theoretically
grounded p-values.