Gecertificeerde beperking van het ergste geval van auteursrechtinbreuk door LLM's

Certified Mitigation of Worst-Case LLM Copyright Infringement

April 22, 2025

Auteurs: Jingyu Zhang, Jiacan Yu, Marc Marone, Benjamin Van Durme, Daniel Khashabi

cs.AI

Samenvatting

De blootstelling van grote taalmodellen (LLMs) aan auteursrechtelijk beschermd materiaal tijdens de voorafgaande training roept zorgen op over onbedoelde inbreuk op auteursrechten na implementatie. Dit heeft geleid tot de ontwikkeling van "copyright takedown"-methoden, benaderingen na de training die gericht zijn op het voorkomen dat modellen inhoud genereren die sterk lijkt op auteursrechtelijk beschermd materiaal. Hoewel de huidige mitigatiebenaderingen enigszins effectief zijn voor gemiddelde risico's, tonen we aan dat ze de ergst denkbare auteursrechtenrisico's over het hoofd zien, die blijken uit het bestaan van lange, letterlijke citaten uit auteursrechtelijk beschermde bronnen. We stellen BloomScrub voor, een opmerkelijk eenvoudige maar zeer effectieve benadering tijdens de inferentie die gecertificeerde verwijdering van auteursrechtelijk beschermd materiaal biedt. Onze methode combineert herhaaldelijk citatendetectie met herschrijftechnieken om mogelijk inbreukmakende segmenten te transformeren. Door gebruik te maken van efficiënte gegevensschetsen (Bloom-filters), maakt onze aanpak schaalbare screening op auteursrechten mogelijk, zelfs voor grootschalige, real-world corpora. Wanneer citaten die een bepaalde lengtedrempel overschrijden niet kunnen worden verwijderd, kan het systeem ervoor kiezen om niet te reageren, wat gecertificeerde risicovermindering biedt. Experimentele resultaten tonen aan dat BloomScrub het risico op inbreuk vermindert, de bruikbaarheid behoudt en zich aanpast aan verschillende niveaus van handhavingsstrengheid met adaptieve onthouding. Onze resultaten suggereren dat lichtgewicht methoden tijdens de inferentie verrassend effectief kunnen zijn voor het voorkomen van auteursrechtelijke inbreuk.

English

The exposure of large language models (LLMs) to copyrighted material during pre-training raises concerns about unintentional copyright infringement post deployment. This has driven the development of "copyright takedown" methods, post-training approaches aimed at preventing models from generating content substantially similar to copyrighted ones. While current mitigation approaches are somewhat effective for average-case risks, we demonstrate that they overlook worst-case copyright risks exhibits by the existence of long, verbatim quotes from copyrighted sources. We propose BloomScrub, a remarkably simple yet highly effective inference-time approach that provides certified copyright takedown. Our method repeatedly interleaves quote detection with rewriting techniques to transform potentially infringing segments. By leveraging efficient data sketches (Bloom filters), our approach enables scalable copyright screening even for large-scale real-world corpora. When quotes beyond a length threshold cannot be removed, the system can abstain from responding, offering certified risk reduction. Experimental results show that BloomScrub reduces infringement risk, preserves utility, and accommodates different levels of enforcement stringency with adaptive abstention. Our results suggest that lightweight, inference-time methods can be surprisingly effective for copyright prevention.