トレードオフからシナジーへ：大規模言語モデルのための汎用共生型透かしフレームワーク

From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models

May 15, 2025

著者: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang

cs.AI

要旨

大規模言語モデル（LLMs）の台頭に伴い、AI生成テキストの悪用に対する懸念が高まり、透かし技術が有望な解決策として注目されています。LLMs向けの主流の透かし方式は、ロジットベースとサンプリングベースの2つに大別されます。しかし、現行の方式では、堅牢性、テキスト品質、セキュリティの間でトレードオフが生じています。この問題を緩和するため、我々はロジットベースとサンプリングベースの方式を統合し、それぞれの強みを活かして相乗効果を実現します。本論文では、シリアル、パラレル、ハイブリッドの3つの戦略を備えた汎用的な共生透かしフレームワークを提案します。ハイブリッドフレームワークは、トークンエントロピーと意味的エントロピーを用いて適応的に透かしを埋め込み、検出可能性、堅牢性、テキスト品質、セキュリティのバランスを最適化します。さらに、様々なデータセットとモデルを用いた包括的な実験を通じて、我々のアプローチを検証します。実験結果は、我々の手法が既存のベースラインを上回り、最先端（SOTA）の性能を達成することを示しています。我々は、このフレームワークが多様な透かしパラダイムに対する新たな洞察を提供すると考えています。コードはhttps://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}で公開されています。

English

The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.