Robuste verzerrungsfreie Wasserzeichen für Sprachmodelle

Robust Distortion-free Watermarks for Language Models

July 28, 2023

Autoren: Rohith Kuditipudi, John Thickstun, Tatsunori Hashimoto, Percy Liang

cs.AI

Zusammenfassung

Wir schlagen eine Methodik vor, um Wasserzeichen in Texten von autoregressiven Sprachmodellen einzubetten, die robust gegenüber Störungen sind, ohne die Textverteilung bis zu einem bestimmten maximalen Generierungsbudget zu verändern. Wir erzeugen wasserzeichenbehaftete Texte, indem wir eine Folge von Zufallszahlen – die wir mithilfe eines randomisierten Wasserzeichenschlüssels berechnen – auf eine Stichprobe aus dem Sprachmodell abbilden. Um wasserzeichenbehaftete Texte zu erkennen, kann jede Partei, die den Schlüssel kennt, den Text an die Zufallszahlenfolge anpassen. Wir implementieren unsere Wasserzeichenmethodik mit zwei Sampling-Verfahren: inverse Transformationssampling und exponentielles Minimumsampling. Wir wenden diese Wasserzeichen auf drei Sprachmodelle an – OPT-1.3B, LLaMA-7B und Alpaca-7B – um ihre statistische Aussagekraft und Robustheit gegenüber verschiedenen Paraphrasierungsangriffen experimentell zu validieren. Bemerkenswerterweise können wir für sowohl das OPT-1.3B- als auch das LLaMA-7B-Modell wasserzeichenbehaftete Texte (p ≤ 0,01) ab 35 Tokens zuverlässig erkennen, selbst nachdem 40-50 % der Tokens durch zufällige Bearbeitungen (d. h. Substitutionen, Einfügungen oder Löschungen) verändert wurden. Für das Alpaca-7B-Modell führen wir eine Fallstudie zur Machbarkeit der Wasserzeichenbildung bei Antworten auf typische Benutzeranweisungen durch. Aufgrund der geringeren Entropie der Antworten ist die Erkennung schwieriger: etwa 25 % der Antworten – deren mittlere Länge bei etwa 100 Tokens liegt – sind mit p ≤ 0,01 erkennbar, und das Wasserzeichen ist auch weniger robust gegenüber bestimmten automatisierten Paraphrasierungsangriffen, die wir implementieren.

English

We propose a methodology for planting watermarks in text from an autoregressive language model that are robust to perturbations without changing the distribution over text up to a certain maximum generation budget. We generate watermarked text by mapping a sequence of random numbers -- which we compute using a randomized watermark key -- to a sample from the language model. To detect watermarked text, any party who knows the key can align the text to the random number sequence. We instantiate our watermark methodology with two sampling schemes: inverse transform sampling and exponential minimum sampling. We apply these watermarks to three language models -- OPT-1.3B, LLaMA-7B and Alpaca-7B -- to experimentally validate their statistical power and robustness to various paraphrasing attacks. Notably, for both the OPT-1.3B and LLaMA-7B models, we find we can reliably detect watermarked text (p leq 0.01) from 35 tokens even after corrupting between 40-50\% of the tokens via random edits (i.e., substitutions, insertions or deletions). For the Alpaca-7B model, we conduct a case study on the feasibility of watermarking responses to typical user instructions. Due to the lower entropy of the responses, detection is more difficult: around 25% of the responses -- whose median length is around 100 tokens -- are detectable with p leq 0.01, and the watermark is also less robust to certain automated paraphrasing attacks we implement.