Sobre a Confiabilidade de Marcas d'Água para Modelos de Linguagem de Grande Escala
On the Reliability of Watermarks for Large Language Models
June 7, 2023
Autores: John Kirchenbauer, Jonas Geiping, Yuxin Wen, Manli Shu, Khalid Saifullah, Kezhi Kong, Kasun Fernando, Aniruddha Saha, Micah Goldblum, Tom Goldstein
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) estão agora implantados para uso cotidiano e posicionados para produzir grandes quantidades de texto na próxima década. O texto gerado por máquina pode substituir o texto escrito por humanos na internet e tem o potencial de ser usado para fins maliciosos, como ataques de spearphishing e bots de mídia social. A marcação d'água é uma estratégia simples e eficaz para mitigar esses danos, permitindo a detecção e documentação de texto gerado por LLMs. No entanto, uma questão crucial permanece: Quão confiável é a marcação d'água em cenários realistas no mundo real? Lá, o texto marcado pode ser misturado com outras fontes de texto, parafraseado por escritores humanos ou outros modelos de linguagem, e usado em uma ampla variedade de domínios, tanto sociais quanto técnicos. Neste artigo, exploramos diferentes esquemas de detecção, quantificamos sua eficácia na detecção de marcas d'água e determinamos quanto texto gerado por máquina precisa ser observado em cada cenário para detectar a marca d'água de forma confiável. Destacamos especialmente nosso estudo com humanos, onde investigamos a confiabilidade da marcação d'água quando confrontada com paráfrases humanas. Comparamos a detecção baseada em marca d'água com outras estratégias de detecção, concluindo que a marcação d'água é uma solução confiável, especialmente devido à sua complexidade de amostragem - para todos os ataques que consideramos, a evidência da marca d'água se acumula à medida que mais exemplos são fornecidos, e a marca d'água é eventualmente detectada.
English
Large language models (LLMs) are now deployed to everyday use and positioned
to produce large quantities of text in the coming decade. Machine-generated
text may displace human-written text on the internet and has the potential to
be used for malicious purposes, such as spearphishing attacks and social media
bots. Watermarking is a simple and effective strategy for mitigating such harms
by enabling the detection and documentation of LLM-generated text. Yet, a
crucial question remains: How reliable is watermarking in realistic settings in
the wild? There, watermarked text might be mixed with other text sources,
paraphrased by human writers or other language models, and used for
applications in a broad number of domains, both social and technical. In this
paper, we explore different detection schemes, quantify their power at
detecting watermarks, and determine how much machine-generated text needs to be
observed in each scenario to reliably detect the watermark. We especially
highlight our human study, where we investigate the reliability of watermarking
when faced with human paraphrasing. We compare watermark-based detection to
other detection strategies, finding overall that watermarking is a reliable
solution, especially because of its sample complexity - for all attacks we
consider, the watermark evidence compounds the more examples are given, and the
watermark is eventually detected.