Zur Zuverlässigkeit von Wasserzeichen für große Sprachmodelle

On the Reliability of Watermarks for Large Language Models

June 7, 2023

Autoren: John Kirchenbauer, Jonas Geiping, Yuxin Wen, Manli Shu, Khalid Saifullah, Kezhi Kong, Kasun Fernando, Aniruddha Saha, Micah Goldblum, Tom Goldstein

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden mittlerweile im Alltag eingesetzt und sind in der Lage, in den kommenden Jahrzehnten große Mengen an Text zu produzieren. Maschinell generierter Text könnte menschlich verfassten Text im Internet verdrängen und hat das Potenzial, für bösartige Zwecke genutzt zu werden, wie beispielsweise Spear-Phishing-Angriffe und Social-Media-Bots. Wasserzeichen bieten eine einfache und effektive Strategie, um solche Schäden zu mindern, indem sie die Erkennung und Dokumentation von LLM-generiertem Text ermöglichen. Dennoch bleibt eine entscheidende Frage: Wie zuverlässig ist die Wasserzeichen-Technologie in realistischen Anwendungen in der Praxis? Dort könnte mit Wasserzeichen versehener Text mit anderen Textquellen vermischt, von menschlichen Autoren oder anderen Sprachmodellen umformuliert und in einer Vielzahl von sozialen und technischen Anwendungsbereichen genutzt werden. In diesem Artikel untersuchen wir verschiedene Erkennungsmethoden, quantifizieren deren Fähigkeit, Wasserzeichen zu detektieren, und bestimmen, wie viel maschinell generierter Text in jedem Szenario beobachtet werden muss, um das Wasserzeichen zuverlässig zu erkennen. Besonders hervorheben möchten wir unsere Studie mit menschlichen Probanden, in der wir die Zuverlässigkeit von Wasserzeichen bei menschlicher Paraphrasierung untersuchen. Wir vergleichen die wasserzeichenbasierte Erkennung mit anderen Erkennungsstrategien und kommen zu dem Schluss, dass Wasserzeichen insgesamt eine zuverlässige Lösung darstellen, insbesondere aufgrund ihrer Stichprobenkomplexität – bei allen von uns betrachteten Angriffen verstärkt sich der Nachweis des Wasserzeichens, je mehr Beispiele vorliegen, und das Wasserzeichen wird schließlich erkannt.

English

Large language models (LLMs) are now deployed to everyday use and positioned to produce large quantities of text in the coming decade. Machine-generated text may displace human-written text on the internet and has the potential to be used for malicious purposes, such as spearphishing attacks and social media bots. Watermarking is a simple and effective strategy for mitigating such harms by enabling the detection and documentation of LLM-generated text. Yet, a crucial question remains: How reliable is watermarking in realistic settings in the wild? There, watermarked text might be mixed with other text sources, paraphrased by human writers or other language models, and used for applications in a broad number of domains, both social and technical. In this paper, we explore different detection schemes, quantify their power at detecting watermarks, and determine how much machine-generated text needs to be observed in each scenario to reliably detect the watermark. We especially highlight our human study, where we investigate the reliability of watermarking when faced with human paraphrasing. We compare watermark-based detection to other detection strategies, finding overall that watermarking is a reliable solution, especially because of its sample complexity - for all attacks we consider, the watermark evidence compounds the more examples are given, and the watermark is eventually detected.