Van Compromis naar Synergie: Een Veelzijdig Symbiotisch Watermerkingsraamwerk voor Grote Taalmodellen

From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models

May 15, 2025

Auteurs: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang

cs.AI

Samenvatting

De opkomst van Large Language Models (LLM's) heeft zorgen doen toenemen over het misbruik van AI-gegenereerde tekst, waardoor watermerken een veelbelovende oplossing zijn geworden. Mainstream watermerkingsschema's voor LLM's vallen in twee categorieën: logits-gebaseerd en sampling-gebaseerd. Huidige schema's brengen echter compromissen met zich mee op het gebied van robuustheid, tekstkwaliteit en beveiliging. Om dit te verlichten, integreren we logits-gebaseerde en sampling-gebaseerde schema's, waarbij we hun respectieve sterke punten benutten om synergie te bereiken. In dit artikel stellen we een veelzijdig symbiotisch watermerkingsframework voor met drie strategieën: serieel, parallel en hybride. Het hybride framework past watermerken adaptief in met behulp van token-entropie en semantische entropie, waardoor de balans tussen detecteerbaarheid, robuustheid, tekstkwaliteit en beveiliging wordt geoptimaliseerd. Bovendien valideren we onze aanpak door middel van uitgebreide experimenten op verschillende datasets en modellen. Experimentele resultaten geven aan dat onze methode de bestaande baseline-methoden overtreft en state-of-the-art (SOTA) prestaties bereikt. Wij geloven dat dit framework nieuwe inzichten biedt in diverse watermerkingsparadigma's. Onze code is beschikbaar op https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.

English

The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.