Drei Bausteine zur Konsolidierung von Wasserzeichen für große Sprachmodelle

Three Bricks to Consolidate Watermarks for Large Language Models

July 26, 2023

Autoren: Pierre Fernandez, Antoine Chaffin, Karim Tit, Vivien Chappelier, Teddy Furon

cs.AI

Zusammenfassung

Die Aufgabe, zwischen generierten und natürlichen Texten zu unterscheiden, wird zunehmend schwieriger. In diesem Kontext erweist sich das Watermarking als vielversprechende Technik, um generierte Texte einem spezifischen Modell zuzuordnen. Es verändert den Sampling-Generierungsprozess, um eine unsichtbare Spur im generierten Output zu hinterlassen, was die spätere Erkennung erleichtert. Diese Forschung konsolidiert Watermarks für große Sprachmodelle basierend auf drei theoretischen und empirischen Überlegungen. Erstens führen wir neue statistische Tests ein, die robuste theoretische Garantien bieten, die selbst bei niedrigen False-Positive-Raten (weniger als 10^{-6}) gültig bleiben. Zweitens vergleichen wir die Wirksamkeit von Watermarks anhand klassischer Benchmarks im Bereich der natürlichen Sprachverarbeitung, um Einblicke in ihre praktische Anwendbarkeit zu gewinnen. Drittens entwickeln wir fortschrittliche Erkennungsschemata für Szenarien, in denen Zugriff auf das Sprachmodell verfügbar ist, sowie Multi-Bit-Watermarking.

English

The task of discerning between generated and natural texts is increasingly challenging. In this context, watermarking emerges as a promising technique for ascribing generated text to a specific model. It alters the sampling generation process so as to leave an invisible trace in the generated output, facilitating later detection. This research consolidates watermarks for large language models based on three theoretical and empirical considerations. First, we introduce new statistical tests that offer robust theoretical guarantees which remain valid even at low false-positive rates (less than 10^{-6}). Second, we compare the effectiveness of watermarks using classical benchmarks in the field of natural language processing, gaining insights into their real-world applicability. Third, we develop advanced detection schemes for scenarios where access to the LLM is available, as well as multi-bit watermarking.