Robuuste vervormingsvrije watermerken voor taalmodelen

Robust Distortion-free Watermarks for Language Models

July 28, 2023

Auteurs: Rohith Kuditipudi, John Thickstun, Tatsunori Hashimoto, Percy Liang

cs.AI

Samenvatting

Wij stellen een methodologie voor om watermerken in tekst van een autoregressief taalmodel aan te brengen die robuust zijn tegen verstoringen zonder de verdeling over de tekst te veranderen tot een bepaald maximaal generatiebudget. We genereren tekst met watermerken door een reeks willekeurige getallen — die we berekenen met behulp van een gerandomiseerde watermerksleutel — te mappen naar een steekproef uit het taalmodel. Om tekst met watermerken te detecteren, kan elke partij die de sleutel kent, de tekst uitlijnen met de reeks willekeurige getallen. We concretiseren onze watermerkmethodologie met twee steekproefschema's: inverse transform sampling en exponential minimum sampling. We passen deze watermerken toe op drie taalmodelen — OPT-1.3B, LLaMA-7B en Alpaca-7B — om hun statistische kracht en robuustheid tegen verschillende parafrase-aanvallen experimenteel te valideren. Opmerkelijk is dat we voor zowel de OPT-1.3B- als de LLaMA-7B-modellen tekst met watermerken betrouwbaar kunnen detecteren (p ≤ 0.01) vanaf 35 tokens, zelfs nadat tussen de 40-50% van de tokens zijn gecorrumpeerd via willekeurige bewerkingen (d.w.z. substituties, invoegingen of verwijderingen). Voor het Alpaca-7B-model voeren we een casestudy uit naar de haalbaarheid van het aanbrengen van watermerken in reacties op typische gebruikersinstructies. Vanwege de lagere entropie van de reacties is detectie moeilijker: ongeveer 25% van de reacties — waarvan de mediane lengte ongeveer 100 tokens is — is detecteerbaar met p ≤ 0.01, en het watermerk is ook minder robuust tegen bepaalde geautomatiseerde parafrase-aanvallen die we implementeren.

English

We propose a methodology for planting watermarks in text from an autoregressive language model that are robust to perturbations without changing the distribution over text up to a certain maximum generation budget. We generate watermarked text by mapping a sequence of random numbers -- which we compute using a randomized watermark key -- to a sample from the language model. To detect watermarked text, any party who knows the key can align the text to the random number sequence. We instantiate our watermark methodology with two sampling schemes: inverse transform sampling and exponential minimum sampling. We apply these watermarks to three language models -- OPT-1.3B, LLaMA-7B and Alpaca-7B -- to experimentally validate their statistical power and robustness to various paraphrasing attacks. Notably, for both the OPT-1.3B and LLaMA-7B models, we find we can reliably detect watermarked text (p leq 0.01) from 35 tokens even after corrupting between 40-50\% of the tokens via random edits (i.e., substitutions, insertions or deletions). For the Alpaca-7B model, we conduct a case study on the feasibility of watermarking responses to typical user instructions. Due to the lower entropy of the responses, detection is more difficult: around 25% of the responses -- whose median length is around 100 tokens -- are detectable with p leq 0.01, and the watermark is also less robust to certain automated paraphrasing attacks we implement.