Marca de agua de texto robusta de varios bits con parafraseadores basados en LLM.

Robust Multi-bit Text Watermark with LLM-based Paraphrasers

December 4, 2024

Autores: Xiaojun Xu, Jinghan Jia, Yuanshun Yao, Yang Liu, Hang Li

cs.AI

Resumen

Proponemos un marca de agua de texto multi-bit imperceptible incrustada mediante parafraseo con Modelos de Lenguaje del Largo Plazo (LLMs). Ajustamos finamente un par de parafraseadores LLM diseñados para comportarse de manera diferente, de modo que su diferencia de parafraseo reflejada en la semántica del texto pueda ser identificada por un decodificador entrenado. Para incrustar nuestra marca de agua multi-bit, utilizamos alternativamente dos parafraseadores para codificar el código binario predefinido a nivel de oración. Luego utilizamos un clasificador de texto como decodificador para decodificar cada bit de la marca de agua. A través de experimentos extensos, demostramos que nuestras marcas de agua pueden lograr más del 99.99\% de AUC de detección con parafraseadores de texto pequeños (1.1B) mientras se mantiene la información semántica de la oración original. Más importante aún, nuestro proceso es robusto ante sustituciones de palabras y perturbaciones de parafraseo de oraciones, y generaliza bien a datos fuera de distribución. También demostramos la sigilosidad de nuestra marca de agua con evaluación basada en LLM. Ponemos el código fuente en código abierto en: https://github.com/xiaojunxu/multi-bit-text-watermark.

English

We propose an imperceptible multi-bit text watermark embedded by paraphrasing with LLMs. We fine-tune a pair of LLM paraphrasers that are designed to behave differently so that their paraphrasing difference reflected in the text semantics can be identified by a trained decoder. To embed our multi-bit watermark, we use two paraphrasers alternatively to encode the pre-defined binary code at the sentence level. Then we use a text classifier as the decoder to decode each bit of the watermark. Through extensive experiments, we show that our watermarks can achieve over 99.99\% detection AUC with small (1.1B) text paraphrasers while keeping the semantic information of the original sentence. More importantly, our pipeline is robust under word substitution and sentence paraphrasing perturbations and generalizes well to out-of-distributional data. We also show the stealthiness of our watermark with LLM-based evaluation. We open-source the code: https://github.com/xiaojunxu/multi-bit-text-watermark.