Drie bouwstenen voor het consolideren van watermerken in grote taalmodellen

Three Bricks to Consolidate Watermarks for Large Language Models

July 26, 2023

Auteurs: Pierre Fernandez, Antoine Chaffin, Karim Tit, Vivien Chappelier, Teddy Furon

cs.AI

Samenvatting

De taak om onderscheid te maken tussen gegenereerde en natuurlijke teksten wordt steeds uitdagender. In deze context komt watermerken naar voren als een veelbelovende techniek om gegenereerde tekst toe te schrijven aan een specifiek model. Het verandert het steekproefgeneratieproces om een onzichtbaar spoor achter te laten in de gegenereerde output, wat latere detectie vergemakkelijkt. Dit onderzoek consolideert watermerken voor grote taalmodelen op basis van drie theoretische en empirische overwegingen. Ten eerste introduceren we nieuwe statistische tests die robuuste theoretische garanties bieden die geldig blijven, zelfs bij lage fout-positieve tarieven (minder dan 10^{-6}). Ten tweede vergelijken we de effectiviteit van watermerken met behulp van klassieke benchmarks in het veld van natuurlijke taalverwerking, wat inzicht geeft in hun toepasbaarheid in de praktijk. Ten derde ontwikkelen we geavanceerde detectieschema's voor scenario's waarin toegang tot het grote taalmodel beschikbaar is, evenals multi-bit watermerken.

English

The task of discerning between generated and natural texts is increasingly challenging. In this context, watermarking emerges as a promising technique for ascribing generated text to a specific model. It alters the sampling generation process so as to leave an invisible trace in the generated output, facilitating later detection. This research consolidates watermarks for large language models based on three theoretical and empirical considerations. First, we introduce new statistical tests that offer robust theoretical guarantees which remain valid even at low false-positive rates (less than 10^{-6}). Second, we compare the effectiveness of watermarks using classical benchmarks in the field of natural language processing, gaining insights into their real-world applicability. Third, we develop advanced detection schemes for scenarios where access to the LLM is available, as well as multi-bit watermarking.