Três Blocos para Consolidar Marcas D'água em Modelos de Linguagem de Grande Escala

Three Bricks to Consolidate Watermarks for Large Language Models

July 26, 2023

Autores: Pierre Fernandez, Antoine Chaffin, Karim Tit, Vivien Chappelier, Teddy Furon

cs.AI

Resumo

A tarefa de discernir entre textos gerados e naturais está se tornando cada vez mais desafiadora. Nesse contexto, a marcação d'água surge como uma técnica promissora para atribuir textos gerados a um modelo específico. Ela altera o processo de geração por amostragem de modo a deixar um traço invisível no texto gerado, facilitando sua detecção posterior. Esta pesquisa consolida as marcações d'água para modelos de linguagem de grande escala com base em três considerações teóricas e empíricas. Primeiro, introduzimos novos testes estatísticos que oferecem garantias teóricas robustas, que permanecem válidas mesmo em taxas de falsos positivos extremamente baixas (menores que 10^{-6}). Segundo, comparamos a eficácia das marcações d'água utilizando benchmarks clássicos no campo do processamento de linguagem natural, obtendo insights sobre sua aplicabilidade no mundo real. Terceiro, desenvolvemos esquemas avançados de detecção para cenários em que há acesso ao modelo de linguagem, bem como marcação d'água de múltiplos bits.

English

The task of discerning between generated and natural texts is increasingly challenging. In this context, watermarking emerges as a promising technique for ascribing generated text to a specific model. It alters the sampling generation process so as to leave an invisible trace in the generated output, facilitating later detection. This research consolidates watermarks for large language models based on three theoretical and empirical considerations. First, we introduce new statistical tests that offer robust theoretical guarantees which remain valid even at low false-positive rates (less than 10^{-6}). Second, we compare the effectiveness of watermarks using classical benchmarks in the field of natural language processing, gaining insights into their real-world applicability. Third, we develop advanced detection schemes for scenarios where access to the LLM is available, as well as multi-bit watermarking.