大規模言語モデルにおける透かし技術の信頼性について

On the Reliability of Watermarks for Large Language Models

June 7, 2023

著者: John Kirchenbauer, Jonas Geiping, Yuxin Wen, Manli Shu, Khalid Saifullah, Kezhi Kong, Kasun Fernando, Aniruddha Saha, Micah Goldblum, Tom Goldstein

cs.AI

要旨

大規模言語モデル（LLM）は現在、日常的に利用されるようになり、今後10年間で大量のテキストを生成することが期待されています。機械生成テキストは、インターネット上の人間が書いたテキストを置き換える可能性があり、スピアフィッシング攻撃やソーシャルメディアボットなどの悪意のある目的に使用される可能性があります。透かし（ウォーターマーク）は、LLM生成テキストの検出と記録を可能にすることで、そのような害を軽減するためのシンプルで効果的な戦略です。しかし、重要な疑問が残ります：現実の環境において、透かしはどの程度信頼できるのでしょうか？そこでは、透かしが入ったテキストが他のテキストソースと混ざったり、人間のライターや他の言語モデルによって言い換えられたり、社会的および技術的な幅広い分野のアプリケーションに使用されたりする可能性があります。本論文では、さまざまな検出スキームを探り、透かしを検出する際のその力を定量化し、各シナリオで透かしを確実に検出するためにどれだけの機械生成テキストを観察する必要があるかを明らかにします。特に、人間による言い換えに直面した場合の透かしの信頼性を調査した人間研究に焦点を当てます。透かしベースの検出を他の検出戦略と比較し、特にそのサンプル複雑性の観点から、透かしが信頼できるソリューションであることを明らかにします。私たちが検討したすべての攻撃において、透かしの証拠は例が増えるにつれて蓄積され、最終的に透かしが検出されます。

English

Large language models (LLMs) are now deployed to everyday use and positioned to produce large quantities of text in the coming decade. Machine-generated text may displace human-written text on the internet and has the potential to be used for malicious purposes, such as spearphishing attacks and social media bots. Watermarking is a simple and effective strategy for mitigating such harms by enabling the detection and documentation of LLM-generated text. Yet, a crucial question remains: How reliable is watermarking in realistic settings in the wild? There, watermarked text might be mixed with other text sources, paraphrased by human writers or other language models, and used for applications in a broad number of domains, both social and technical. In this paper, we explore different detection schemes, quantify their power at detecting watermarks, and determine how much machine-generated text needs to be observed in each scenario to reliably detect the watermark. We especially highlight our human study, where we investigate the reliability of watermarking when faced with human paraphrasing. We compare watermark-based detection to other detection strategies, finding overall that watermarking is a reliable solution, especially because of its sample complexity - for all attacks we consider, the watermark evidence compounds the more examples are given, and the watermark is eventually detected.