Vom Kompromiss zur Synergie: Ein vielseitiges symbiotisches Wasserzeichen-Framework für große Sprachmodelle

From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models

May 15, 2025

Autoren: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang

cs.AI

Zusammenfassung

Der Aufstieg von Large Language Models (LLMs) hat die Bedenken hinsichtlich des Missbrauchs von KI-generierten Texten verstärkt, wodurch das Wasserzeichenverfahren eine vielversprechende Lösung darstellt. Hauptströmungen von Wasserzeichenverfahren für LLMs lassen sich in zwei Kategorien einteilen: logits-basierte und sampling-basierte Verfahren. Allerdings beinhalten aktuelle Verfahren Kompromisse zwischen Robustheit, Textqualität und Sicherheit. Um dies zu mildern, integrieren wir logits-basierte und sampling-basierte Verfahren und nutzen ihre jeweiligen Stärken, um Synergien zu erzielen. In diesem Artikel schlagen wir ein vielseitiges symbiotisches Wasserzeichenframework mit drei Strategien vor: seriell, parallel und hybrid. Das hybride Framework bettet Wasserzeichen adaptiv unter Verwendung von Token-Entropie und semantischer Entropie ein und optimiert so das Gleichgewicht zwischen Erkennbarkeit, Robustheit, Textqualität und Sicherheit. Darüber hinaus validieren wir unseren Ansatz durch umfassende Experimente mit verschiedenen Datensätzen und Modellen. Die experimentellen Ergebnisse zeigen, dass unsere Methode bestehende Baselines übertrifft und state-of-the-art (SOTA) Leistung erzielt. Wir glauben, dass dieses Framework neue Einblicke in diverse Wasserzeichenparadigmen bietet. Unser Code ist verfügbar unter https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.

English

The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.