Trois briques pour consolider les filigranes dans les grands modèles de langage

Three Bricks to Consolidate Watermarks for Large Language Models

July 26, 2023

Auteurs: Pierre Fernandez, Antoine Chaffin, Karim Tit, Vivien Chappelier, Teddy Furon

cs.AI

Résumé

La tâche consistant à distinguer les textes générés des textes naturels devient de plus en plus complexe. Dans ce contexte, le tatouage numérique émerge comme une technique prometteuse pour attribuer un texte généré à un modèle spécifique. Il modifie le processus de génération par échantillonnage afin de laisser une trace invisible dans le texte généré, facilitant ainsi sa détection ultérieure. Cette recherche consolide les méthodes de tatouage numérique pour les grands modèles de langage en s'appuyant sur trois considérations théoriques et empiriques. Premièrement, nous introduisons de nouveaux tests statistiques offrant des garanties théoriques robustes qui restent valables même à des taux de faux positifs très faibles (inférieurs à 10^{-6}). Deuxièmement, nous comparons l'efficacité des tatouages numériques en utilisant des benchmarks classiques dans le domaine du traitement automatique du langage naturel, ce qui nous permet de mieux comprendre leur applicabilité dans des contextes réels. Troisièmement, nous développons des schémas de détection avancés pour des scénarios où l'accès au grand modèle de langage est disponible, ainsi que des techniques de tatouage multi-bits.

English

The task of discerning between generated and natural texts is increasingly challenging. In this context, watermarking emerges as a promising technique for ascribing generated text to a specific model. It alters the sampling generation process so as to leave an invisible trace in the generated output, facilitating later detection. This research consolidates watermarks for large language models based on three theoretical and empirical considerations. First, we introduce new statistical tests that offer robust theoretical guarantees which remain valid even at low false-positive rates (less than 10^{-6}). Second, we compare the effectiveness of watermarks using classical benchmarks in the field of natural language processing, gaining insights into their real-world applicability. Third, we develop advanced detection schemes for scenarios where access to the LLM is available, as well as multi-bit watermarking.