О надежности водяных знаков для больших языковых моделей
On the Reliability of Watermarks for Large Language Models
June 7, 2023
Авторы: John Kirchenbauer, Jonas Geiping, Yuxin Wen, Manli Shu, Khalid Saifullah, Kezhi Kong, Kasun Fernando, Aniruddha Saha, Micah Goldblum, Tom Goldstein
cs.AI
Аннотация
Крупные языковые модели (LLMs) уже используются в повседневной жизни и готовы производить огромные объемы текста в ближайшее десятилетие. Машинно-сгенерированный текст может вытеснить текст, написанный людьми, в интернете и имеет потенциал для использования в злонамеренных целях, таких как целевые фишинговые атаки и боты в социальных сетях. Водяные знаки представляют собой простую и эффективную стратегию для смягчения таких рисков, позволяя обнаруживать и документировать текст, созданный LLM. Однако остается важный вопрос: насколько надежны водяные знаки в реальных условиях? В таких условиях текст с водяными знаками может смешиваться с другими источниками текста, перефразироваться людьми или другими языковыми моделями и использоваться в широком спектре областей, как социальных, так и технических. В данной статье мы исследуем различные схемы обнаружения, количественно оцениваем их эффективность в выявлении водяных знаков и определяем, какой объем машинно-сгенерированного текста необходимо наблюдать в каждом сценарии для надежного обнаружения водяного знака. Особое внимание мы уделяем нашему исследованию с участием людей, где изучаем надежность водяных знаков при столкновении с перефразированием текста человеком. Мы сравниваем обнаружение на основе водяных знаков с другими стратегиями обнаружения и приходим к выводу, что водяные знаки являются надежным решением, особенно благодаря их сложности выборки — для всех рассматриваемых атак доказательства наличия водяного знака накапливаются с увеличением количества примеров, и в конечном итоге водяной знак обнаруживается.
English
Large language models (LLMs) are now deployed to everyday use and positioned
to produce large quantities of text in the coming decade. Machine-generated
text may displace human-written text on the internet and has the potential to
be used for malicious purposes, such as spearphishing attacks and social media
bots. Watermarking is a simple and effective strategy for mitigating such harms
by enabling the detection and documentation of LLM-generated text. Yet, a
crucial question remains: How reliable is watermarking in realistic settings in
the wild? There, watermarked text might be mixed with other text sources,
paraphrased by human writers or other language models, and used for
applications in a broad number of domains, both social and technical. In this
paper, we explore different detection schemes, quantify their power at
detecting watermarks, and determine how much machine-generated text needs to be
observed in each scenario to reliably detect the watermark. We especially
highlight our human study, where we investigate the reliability of watermarking
when faced with human paraphrasing. We compare watermark-based detection to
other detection strategies, finding overall that watermarking is a reliable
solution, especially because of its sample complexity - for all attacks we
consider, the watermark evidence compounds the more examples are given, and the
watermark is eventually detected.