Wasserzeichen in autoregressiver Bildgenerierung

Watermarking Autoregressive Image Generation

June 19, 2025

Autoren: Nikola Jovanović, Ismail Labiad, Tomáš Souček, Martin Vechev, Pierre Fernandez

cs.AI

Zusammenfassung

Das Einbetten von Wasserzeichen in die Ausgaben von generativen Modellen hat sich als vielversprechender Ansatz zur Verfolgung ihrer Herkunft erwiesen. Trotz des erheblichen Interesses an autoregressiven Bildgenerierungsmodellen und ihres Potenzials für Missbrauch hat bisher keine Arbeit versucht, ihre Ausgaben auf Token-Ebene mit Wasserzeichen zu versehen. In dieser Arbeit präsentieren wir den ersten solchen Ansatz, indem wir Techniken zur Wasserzeicheneinbettung von Sprachmodellen auf diesen Kontext anpassen. Wir identifizieren eine zentrale Herausforderung: das Fehlen von Rückwärts-Zyklus-Konsistenz (Reverse Cycle-Consistency, RCC), bei der die erneute Tokenisierung von generierten Bild-Tokens die Token-Sequenz erheblich verändert und das Wasserzeichen effektiv löscht. Um dies zu bewältigen und unsere Methode robust gegenüber gängigen Bildtransformationen, neuronaler Kompression und Entfernungsangriffen zu machen, führen wir (i) ein spezielles Feinabstimmungsverfahren für Tokenizer-Detokenizer ein, das die RCC verbessert, und (ii) eine ergänzende Wasserzeichen-Synchronisationsschicht ein. Wie unsere Experimente zeigen, ermöglicht unser Ansatz eine zuverlässige und robuste Wasserzeichenerkennung mit theoretisch fundierten p-Werten.

English

Watermarking the outputs of generative models has emerged as a promising approach for tracking their provenance. Despite significant interest in autoregressive image generation models and their potential for misuse, no prior work has attempted to watermark their outputs at the token level. In this work, we present the first such approach by adapting language model watermarking techniques to this setting. We identify a key challenge: the lack of reverse cycle-consistency (RCC), wherein re-tokenizing generated image tokens significantly alters the token sequence, effectively erasing the watermark. To address this and to make our method robust to common image transformations, neural compression, and removal attacks, we introduce (i) a custom tokenizer-detokenizer finetuning procedure that improves RCC, and (ii) a complementary watermark synchronization layer. As our experiments demonstrate, our approach enables reliable and robust watermark detection with theoretically grounded p-values.