Устойчивые водяные знаки без искажений для языковых моделей

Robust Distortion-free Watermarks for Language Models

July 28, 2023

Авторы: Rohith Kuditipudi, John Thickstun, Tatsunori Hashimoto, Percy Liang

cs.AI

Аннотация

Мы предлагаем методологию внедрения водяных знаков в текст, генерируемый авторегрессионной языковой моделью, которая обеспечивает устойчивость к искажениям без изменения распределения текста в пределах определенного максимального бюджета генерации. Мы создаем текст с водяными знаками, отображая последовательность случайных чисел — которые вычисляются с использованием рандомизированного ключа водяного знака — на выборку из языковой модели. Для обнаружения текста с водяными знаками любая сторона, знающая ключ, может сопоставить текст с последовательностью случайных чисел. Мы реализуем нашу методологию водяных знаков с использованием двух схем выборки: обратного преобразования выборки и экспоненциальной минимальной выборки. Мы применяем эти водяные знаки к трем языковым моделям — OPT-1.3B, LLaMA-7B и Alpaca-7B — чтобы экспериментально подтвердить их статистическую мощность и устойчивость к различным атакам на перефразирование. В частности, для моделей OPT-1.3B и LLaMA-7B мы обнаруживаем, что можем надежно идентифицировать текст с водяными знаками (p ≤ 0.01) начиная с 35 токенов, даже после искажения 40-50% токенов с помощью случайных правок (например, замен, вставок или удалений). Для модели Alpaca-7B мы проводим исследование возможности внедрения водяных знаков в ответы на типичные пользовательские инструкции. Из-за более низкой энтропии ответов их обнаружение затруднено: около 25% ответов — средняя длина которых составляет около 100 токенов — можно идентифицировать с p ≤ 0.01, а водяной знак также менее устойчив к некоторым автоматизированным атакам на перефразирование, которые мы реализовали.

English

We propose a methodology for planting watermarks in text from an autoregressive language model that are robust to perturbations without changing the distribution over text up to a certain maximum generation budget. We generate watermarked text by mapping a sequence of random numbers -- which we compute using a randomized watermark key -- to a sample from the language model. To detect watermarked text, any party who knows the key can align the text to the random number sequence. We instantiate our watermark methodology with two sampling schemes: inverse transform sampling and exponential minimum sampling. We apply these watermarks to three language models -- OPT-1.3B, LLaMA-7B and Alpaca-7B -- to experimentally validate their statistical power and robustness to various paraphrasing attacks. Notably, for both the OPT-1.3B and LLaMA-7B models, we find we can reliably detect watermarked text (p leq 0.01) from 35 tokens even after corrupting between 40-50\% of the tokens via random edits (i.e., substitutions, insertions or deletions). For the Alpaca-7B model, we conduct a case study on the feasibility of watermarking responses to typical user instructions. Due to the lower entropy of the responses, detection is more difficult: around 25% of the responses -- whose median length is around 100 tokens -- are detectable with p leq 0.01, and the watermark is also less robust to certain automated paraphrasing attacks we implement.