Robuster Mehrbit-Text-Wasserzeichen mit LLM-basierten Paraphrasierungen.

Robust Multi-bit Text Watermark with LLM-based Paraphrasers

December 4, 2024

Autoren: Xiaojun Xu, Jinghan Jia, Yuanshun Yao, Yang Liu, Hang Li

cs.AI

Zusammenfassung

Wir schlagen ein unmerkliches Mehrbit-Text-Wasserzeichen vor, das durch Umschreiben mit LLMs eingebettet wird. Wir feinabstimmen ein Paar LLM-Umschreiber, die so konzipiert sind, dass sie sich unterschiedlich verhalten, so dass ihre Umschreibungsunterschiede, die sich in der Textsemantik widerspiegeln, von einem trainierten Decoder identifiziert werden können. Um unser Mehrbit-Wasserzeichen einzubetten, verwenden wir abwechselnd zwei Umschreiber, um den vordefinierten Binärcode auf Satzebene zu codieren. Anschließend verwenden wir einen Textklassifizierer als Decoder, um jedes Bit des Wasserzeichens zu entschlüsseln. Durch umfangreiche Experimente zeigen wir, dass unsere Wasserzeichen mit kleinen (1,1B) Text-Umschreibern über 99,99\% Erkennungs-AUC erreichen können, während die semantischen Informationen des ursprünglichen Satzes erhalten bleiben. Darüber hinaus ist unsere Pipeline robust gegen Wortersetzungen und Satzumschreibungen und generalisiert gut auf Daten außerhalb der Verteilung. Wir zeigen auch die Verdecktheit unseres Wasserzeichens mit LLM-basierter Bewertung. Wir stellen den Code Open Source zur Verfügung: https://github.com/xiaojunxu/multi-bit-text-watermark.

English

We propose an imperceptible multi-bit text watermark embedded by paraphrasing with LLMs. We fine-tune a pair of LLM paraphrasers that are designed to behave differently so that their paraphrasing difference reflected in the text semantics can be identified by a trained decoder. To embed our multi-bit watermark, we use two paraphrasers alternatively to encode the pre-defined binary code at the sentence level. Then we use a text classifier as the decoder to decode each bit of the watermark. Through extensive experiments, we show that our watermarks can achieve over 99.99\% detection AUC with small (1.1B) text paraphrasers while keeping the semantic information of the original sentence. More importantly, our pipeline is robust under word substitution and sentence paraphrasing perturbations and generalizes well to out-of-distributional data. We also show the stealthiness of our watermark with LLM-based evaluation. We open-source the code: https://github.com/xiaojunxu/multi-bit-text-watermark.