Три кита для укрепления водяных знаков в больших языковых моделях

Three Bricks to Consolidate Watermarks for Large Language Models

July 26, 2023

Авторы: Pierre Fernandez, Antoine Chaffin, Karim Tit, Vivien Chappelier, Teddy Furon

cs.AI

Аннотация

Задача различения между сгенерированными и естественными текстами становится всё более сложной. В этом контексте водяные знаки (watermarking) появляются как перспективная техника для атрибуции сгенерированного текста конкретной модели. Они изменяют процесс генерации выборки таким образом, чтобы оставить невидимый след в сгенерированном выводе, что облегчает последующее обнаружение. Данное исследование объединяет водяные знаки для больших языковых моделей на основе трёх теоретических и эмпирических соображений. Во-первых, мы представляем новые статистические тесты, которые предлагают надёжные теоретические гарантии, остающиеся действительными даже при низких уровнях ложноположительных срабатываний (менее 10^{-6}). Во-вторых, мы сравниваем эффективность водяных знаков, используя классические бенчмарки в области обработки естественного языка, что позволяет получить представление об их применимости в реальных условиях. В-третьих, мы разрабатываем усовершенствованные схемы обнаружения для сценариев, где доступ к языковой модели возможен, а также многобитовое водяное кодирование.

English

The task of discerning between generated and natural texts is increasingly challenging. In this context, watermarking emerges as a promising technique for ascribing generated text to a specific model. It alters the sampling generation process so as to leave an invisible trace in the generated output, facilitating later detection. This research consolidates watermarks for large language models based on three theoretical and empirical considerations. First, we introduce new statistical tests that offer robust theoretical guarantees which remain valid even at low false-positive rates (less than 10^{-6}). Second, we compare the effectiveness of watermarks using classical benchmarks in the field of natural language processing, gaining insights into their real-world applicability. Third, we develop advanced detection schemes for scenarios where access to the LLM is available, as well as multi-bit watermarking.