De l'arbitrage à la synergie : Un cadre polyvalent de tatouage symbiotique pour les grands modèles de langage

From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models

May 15, 2025

Auteurs: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang

cs.AI

Résumé

L'essor des modèles de langage de grande taille (LLMs) a accru les préoccupations concernant l'utilisation abusive de textes générés par l'IA, faisant du tatouage numérique une solution prometteuse. Les principales méthodes de tatouage pour les LLMs se divisent en deux catégories : celles basées sur les logits et celles basées sur l'échantillonnage. Cependant, les méthodes actuelles impliquent des compromis entre robustesse, qualité du texte et sécurité. Pour atténuer cela, nous intégrons les approches basées sur les logits et sur l'échantillonnage, en exploitant leurs forces respectives pour atteindre une synergie. Dans cet article, nous proposons un cadre de tatouage symbiotique polyvalent avec trois stratégies : série, parallèle et hybride. Le cadre hybride intègre de manière adaptative des tatouages en utilisant l'entropie des tokens et l'entropie sémantique, optimisant ainsi l'équilibre entre détectabilité, robustesse, qualité du texte et sécurité. De plus, nous validons notre approche à travers des expériences approfondies sur divers ensembles de données et modèles. Les résultats expérimentaux montrent que notre méthode surpasse les références existantes et atteint des performances de pointe (state-of-the-art, SOTA). Nous pensons que ce cadre offre de nouvelles perspectives sur les paradigmes variés du tatouage numérique. Notre code est disponible à l'adresse suivante : https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.

English

The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.