Marqueur de texte robuste multi-bits avec paraphraseurs basés sur LLM

Robust Multi-bit Text Watermark with LLM-based Paraphrasers

December 4, 2024

Auteurs: Xiaojun Xu, Jinghan Jia, Yuanshun Yao, Yang Liu, Hang Li

cs.AI

Résumé

Nous proposons un watermark textuel multi-bits imperceptible intégré par reformulation avec des LLM. Nous affinons un couple de paraphraseurs LLM conçus pour se comporter différemment afin que leur différence de reformulation, reflétée dans la sémantique du texte, puisse être identifiée par un décodeur entraîné. Pour intégrer notre watermark multi-bits, nous utilisons deux paraphraseurs de manière alternative pour encoder le code binaire prédéfini au niveau de la phrase. Ensuite, nous utilisons un classificateur de texte en tant que décodeur pour décoder chaque bit du watermark. À travers des expériences approfondies, nous montrons que nos watermarks peuvent atteindre plus de 99,99\% d'AUC de détection avec de petits (1,1 milliard) paraphraseurs de texte tout en conservant l'information sémantique de la phrase d'origine. Plus important encore, notre pipeline est robuste face aux substitutions de mots et aux perturbations de reformulation de phrases, et généralise bien aux données hors distribution. Nous montrons également la furtivité de notre watermark avec une évaluation basée sur les LLM. Nous mettons le code en open source : https://github.com/xiaojunxu/multi-bit-text-watermark.

English

We propose an imperceptible multi-bit text watermark embedded by paraphrasing with LLMs. We fine-tune a pair of LLM paraphrasers that are designed to behave differently so that their paraphrasing difference reflected in the text semantics can be identified by a trained decoder. To embed our multi-bit watermark, we use two paraphrasers alternatively to encode the pre-defined binary code at the sentence level. Then we use a text classifier as the decoder to decode each bit of the watermark. Through extensive experiments, we show that our watermarks can achieve over 99.99\% detection AUC with small (1.1B) text paraphrasers while keeping the semantic information of the original sentence. More importantly, our pipeline is robust under word substitution and sentence paraphrasing perturbations and generalizes well to out-of-distributional data. We also show the stealthiness of our watermark with LLM-based evaluation. We open-source the code: https://github.com/xiaojunxu/multi-bit-text-watermark.