PASA : Une approche de tatouage dans l'espace des plongements fondée sur des principes pour le texte généré par LLM sous attaques sémantiquement invariantes
PASA: A Principled Embedding-Space Watermarking Approach for LLM-Generated Text under Semantic-Invariant Attacks
May 9, 2026
Auteurs: Zhenxin Ai, Haiyun He
cs.AI
Résumé
Le tatouage pour les grands modèles de langage (LLM) constitue une approche prometteuse pour détecter le texte généré par ces modèles et permettre un déploiement responsable. Cependant, les méthodes de tatouage existantes sont souvent vulnérables aux attaques sémantiquement invariantes, telles que la paraphrase. Nous proposons PASA, un algorithme de tatouage robuste, sans distorsion et fondé sur des principes, qui intègre et détecte un tatouage au niveau sémantique. PASA opère sur des regroupements sémantiques dans un espace de plongement latent et établit une dépendance distributionnelle entre les séquences de tokens et auxiliaires via un caractère aléatoire partagé synchronisé par une clé secrète et un historique sémantique. Cette conception repose sur notre cadre théorique qui caractérise une paire d'insertion-détection conjointe optimale, réalisant les compromis fondamentaux entre précision de détection, robustesse et distorsion. Les évaluations sur plusieurs LLM et attaques sémantiquement invariantes montrent que PASA reste robuste même sous des attaques de paraphrase fortes tout en préservant une qualité textuelle élevée, surpassant les méthodes de référence standards basées sur le vocabulaire. Des études d'ablation valident en outre l'efficacité de nos choix d'hyperparamètres. Page web : https://ai-kunkun.github.io/PASA_page/.
English
Watermarking for large language models (LLMs) is a promising approach for detecting LLM-generated text and enabling responsible deployment. However, existing watermarking methods are often vulnerable to semantic-invariant attacks, such as paraphrasing. We propose PASA, a principled, robust, and distortion-free watermarking algorithm that embeds and detects a watermark at the semantic level. PASA operates on semantic clusters in a latent embedding space and constructs a distributional dependency between token and auxiliary sequences via shared randomness synchronized by a secret key and semantic history. This design is grounded in our theoretical framework that characterizes a jointly optimal embedding-detection pair, achieving the fundamental trade-offs among detection accuracy, robustness, and distortion. Evaluations across multiple LLMs and semantic-invariant attacks demonstrate that PASA remains robust even under strong paraphrasing attacks while preserving high text quality, outperforming standard vocabulary-space baselines. Ablation studies further validate the effectiveness of our hyperparameter choices. Webpage: https://ai-kunkun.github.io/PASA_page/.