PASA: Un Enfoque Principiado de Marcado de Agua en el Espacio de Embeddings para Texto Generado por LLM bajo Ataques Semánticamente Invariantes

PASA: A Principled Embedding-Space Watermarking Approach for LLM-Generated Text under Semantic-Invariant Attacks

May 9, 2026

Autores: Zhenxin Ai, Haiyun He

cs.AI

Resumen

El marcado de agua para modelos de lenguaje grandes (LLMs) es un enfoque prometedor para detectar texto generado por LLMs y permitir un despliegue responsable. Sin embargo, los métodos de marcado de agua existentes suelen ser vulnerables a ataques semánticamente invariantes, como el parafraseo. Proponemos PASA, un algoritmo de marcado de agua fundamentado, robusto y sin distorsión, que incrusta y detecta una marca de agua a nivel semántico. PASA opera sobre conglomerados semánticos en un espacio de incrustación latente y construye una dependencia distribucional entre las secuencias de tokens y auxiliares mediante aleatoriedad compartida sincronizada por una clave secreta y el historial semántico. Este diseño se fundamenta en nuestro marco teórico que caracteriza un par óptimo conjunto de incrustación-detección, logrando las compensaciones fundamentales entre precisión de detección, robustez y distorsión. Las evaluaciones en múltiples LLMs y ataques semánticamente invariantes demuestran que PASA permanece robusto incluso bajo ataques de parafraseo intensos, mientras preserva una alta calidad de texto, superando las líneas base estándar basadas en espacio de vocabulario. Los estudios de ablación validan además la efectividad de nuestras elecciones de hiperparámetros. Página web: https://ai-kunkun.github.io/PASA_page/.

English

Watermarking for large language models (LLMs) is a promising approach for detecting LLM-generated text and enabling responsible deployment. However, existing watermarking methods are often vulnerable to semantic-invariant attacks, such as paraphrasing. We propose PASA, a principled, robust, and distortion-free watermarking algorithm that embeds and detects a watermark at the semantic level. PASA operates on semantic clusters in a latent embedding space and constructs a distributional dependency between token and auxiliary sequences via shared randomness synchronized by a secret key and semantic history. This design is grounded in our theoretical framework that characterizes a jointly optimal embedding-detection pair, achieving the fundamental trade-offs among detection accuracy, robustness, and distortion. Evaluations across multiple LLMs and semantic-invariant attacks demonstrate that PASA remains robust even under strong paraphrasing attacks while preserving high text quality, outperforming standard vocabulary-space baselines. Ablation studies further validate the effectiveness of our hyperparameter choices. Webpage: https://ai-kunkun.github.io/PASA_page/.